DALL·E

OpenAI представила DALL·E 5 января 2021 года. Модель преобразовывала текстовые описания в изображения и могла связывать в одной сцене объекты, свойства и стили, даже если их сочетание редко встречалось в обучающих примерах. Название соединяет имена художника Сальвадора Дали и робота WALL·E.

Как работала первая версия DALL·E

Связь текста и изображения

В публикации OpenAI описала DALL·E как модель на 12 млрд параметров, основанную на GPT-3 и обученную на парах «текст — изображение». По запросу она создавала варианты картинки, учитывая предметы, их признаки, композицию и стиль. Это была исследовательская демонстрация, а не открытый сервис для широкой аудитории и не API для интеграции в продукты.

Какие задачи показала OpenAI

Сцены, ракурсы и сочетания понятий

Примеры показывали, что модель могла визуализировать заданные предметы, передавать отношения между ними, менять ракурс и создавать изображения в указанной стилистике. Эти демонстрации помогали исследовать возможности моделей «текст — изображение», но не означали, что система одинаково надёжно понимала любой запрос или воспроизводила каждую деталь точно.

Место в истории генерации изображений OpenAI

От исследовательской модели к продуктовым системам

DALL·E стала исходной точкой отдельной линии генерации изображений. Следующее поколение, DALL·E 2, повысило разрешение и реалистичность изображений и добавило инструменты редактирования. Позднее вышла DALL·E 3, а затем OpenAI перенесла развитие генерации изображений в семейство GPT Image.

Доступность

Демонстрация не была публичным генератором

Материал 2021 года описывал возможности модели и примеры генерации, но не объявлял общедоступную пользовательскую площадку. Поэтому DALL·E в этой карточке рассматривается как исследовательский релиз OpenAI. Её нельзя путать с одноимёнными последующими продуктами или считать, что API нынешней линейки сохранил исходную модель.

Официальный первичный материал: публикация OpenAI о DALL·E.

Сведения о разработчике и его моделях: OpenAI в Вики Futuretools.ru.