MusicLM — создание музыки по текстовому описанию

MusicLM — модель для генерации музыки высокого качества по текстовым описаниям. Она использует иерархическую архитектуру «последовательность в последовательность» и создаёт музыку с частотой дискретизации 24 кГц, сохраняя связность на протяжении нескольких минут.

Условия генерации

Модель может создавать музыку по тексту и мелодии, в том числе преобразовывать насвистанные или напетые мелодии в соответствии со стилем, заданным текстовым описанием. Также она умеет генерировать музыку по описаниям картин, инструментов, жанров, уровня опыта музыканта, мест и эпох. Для одного и того же текстового запроса и одних и тех же семантических токенов можно создавать разные варианты музыки.