Mercury 2.5 — диффузионная языковая модель с быстрым выводом
Mercury 2.5 — модель Inception, которая формирует несколько токенов параллельно. Компания заявляет о скорости до 1 107 токенов в секунду и контексте 260 тысяч токенов.
Mercury 2.5 — языковая модель Inception для сценариев, где важны и качество ответа, и скорость. Она относится к диффузионным языковым моделям: вместо последовательной генерации текста токен за токеном модель за один проход предлагает и уточняет несколько частей ответа. Такой подход должен уменьшать задержку в длинных ответах и цепочках обращений к модели.
Как устроена диффузионная генерация
Большинство привычных языковых моделей пишет текст последовательно: следующий фрагмент зависит от уже созданных. Диффузионная модель сначала формирует более общий вариант последовательности, а затем несколько раз уточняет его. Это позволяет обрабатывать часть ответа параллельно. Метод отличается от обычной генерации и требует отдельной инфраструктуры для обучения и обслуживания.
Скорость и качество
Inception сообщает, что Mercury 2.5 достигает 1 107 токенов в секунду на распространённых графических процессорах NVIDIA и повышает внутреннюю оценку «интеллекта» на 40% относительно Mercury 2. Эти цифры принадлежат разработчику и зависят от оборудования, длины запроса и условий измерения. Для пользователя важна не только скорость выдачи токенов, но и задержка до первого полезного ответа.
Инструменты и область применения
Модель поддерживает настраиваемую глубину рассуждений, параллельные вызовы инструментов и ответы по заданной JSON-схеме. Поэтому разработчик предлагает применять её в поисковых агентах, голосовых интерфейсах, кодовых помощниках и системах, где один пользовательский запрос запускает несколько внутренних этапов обработки.
Контекст и доступ
Официальная страница Inception указывает контекст 260 тысяч токенов и доступ через API компании, Baseten и OpenRouter. На момент запуска компания объявила цену $0,20 за миллион входных и $0,75 за миллион выходных токенов, а также временную стартовую скидку; актуальные условия следует проверять у выбранного поставщика. Более новая версия семейства — Mercury 3.
Связанные материалы
Mercury 2.5 развивает линейку диффузионных моделей Inception. О компании и её технологиях читайте в статье Inception Labs в Вики Futuretools.