GPT-4o от 13 мая 2024 года — первый снимок мультимодальной модели
Первый датированный снимок GPT-4o вышел 13 мая 2024 года. Модель объединила обработку текста, изображений и аудио в одной архитектуре и стала основой для дальнейших обновлений семейства.
GPT-4o от 13 мая 2024 года — первый датированный снимок флагманской мультимодальной модели OpenAI. Буква «o» означает omni: модель проектировалась для работы с разными типами данных в единой системе. На старте OpenAI описала обработку текста, изображений и аудио, а также направление к более естественному взаимодействию в реальном времени. Основной анонс опубликован в статье Hello GPT-4o. Разработчик и его основные проекты представлены в OpenAI в Вики Futuretools.
Что отличало первый GPT-4o
До этого голосовой диалог часто строился как цепочка отдельных этапов: распознавание речи, обработка текста языковой моделью и синтез ответа. GPT-4o была задумана как модель, способная обрабатывать аудио и другие входные данные напрямую, сохраняя интонацию и контекст взаимодействия. При этом возможности API и приложения ChatGPT разворачивались постепенно, поэтому анонс не означал, что все режимы сразу стали доступны каждому пользователю.
Обработка изображений и аудио
Модель могла анализировать изображение вместе с текстовой инструкцией, а голосовой режим позволял строить более естественный обмен репликами. Поддержка конкретных форматов и инструментов зависела от продукта и доступного API. GPT-4o не следует путать с отдельными специализированными моделями для транскрибации или генерации изображений.
Снимки семейства
Датированные версии сохраняют конкретные изменения API. Позднее появились GPT-4o от 6 августа 2024 года с поддержкой Structured Outputs и обновление от 20 ноября 2024 года, в котором OpenAI улучшила письмо и работу с файлами. Общая страница семейства — GPT-4o; о более компактном варианте читайте в статье GPT-4o mini.