Inference.net — инфраструктура для запуска и оценки моделей
Inference.net предоставляет API-инференс, развёртывание моделей, наблюдение за запросами и оценку качества; компания также развивает специализированное семейство Schematron.
Inference.net — платформа для запуска и сопровождения систем искусственного интеллекта. Она предлагает API-инференс для открытых и настраиваемых моделей, развёртывание в облачной инфраструктуре, наблюдение за запросами и оценку качества на производственных данных. Компания также разрабатывает семейство специализированных моделей Schematron для извлечения сведений из HTML.
Описание самой платформы как ИИ-инструмента: Inference.net.
Инфраструктура для моделей
Запуск, наблюдение и оценка
Платформа помогает подключить модели к приложению, отслеживать их работу и сравнивать варианты на реальных запросах. Организации могут использовать готовые модели, размещать собственные сборки или настраивать их под рабочие процессы. Конкретные возможности и требования зависят от выбранного тарифа и среды развёртывания.
Семейство Schematron
Schematron преобразует неструктурированный HTML в JSON по заданной схеме. Schematron V2 Small рассчитана на сложные схемы и длинные страницы, а Schematron V2 Turbo — на высокую пропускную способность при массовой обработке.
Модель как API-сервис
Вторая версия Schematron доступна через серверный API; веса закрыты. Модели поддерживают контекст до 128 тысяч токенов и строгий вывод по JSON-схеме. Платформа предоставляет пакетные и групповые запросы для обработки большого числа заданий.
Для кого предназначена платформа
Inference.net ориентирована на команды, которым нужно запускать ИИ-функции в продуктах и контролировать качество, задержки и стоимость в рабочей среде. Помимо собственных моделей, сервис помогает размещать модели других разработчиков, поэтому его не следует воспринимать как каталог только собственных языковых моделей.