NeMo-Inspector: продвинутый анализ генерации языковых моделей
NVIDIA представила инструмент NeMo-Inspector, который значительно упрощает анализ генераций языковых моделей. Этот инструмент не просто отображает результаты, но и помогает их систематизировать, сравнивать и даже очищать данные.
Возможности NeMo-Inspector
NeMo-Inspector представляет собой полноценную среду для анализа генераций языковых моделей. Он позволяет менять промпты на лету, маркировать проблемные данные и проверять гипотезы. Для инженеров, работающих с LLM, этот инструмент является незаменимым помощником.
- Поддержка Markdown, LaTeX и подсветки синтаксиса для работы с математическими задачами или кодом.
- Два режима работы: Inference Page для экспериментов с промптами в реальном времени и Analyze Page для глубокого разбора сгенерированных данных.
- Возможность сравнивать разные модели и их параметры, а также рассчитывать статистику и кастомные метрики.
Режимы работы NeMo-Inspector
Инструмент работает в двух режимах:
- Inference Page: позволяет экспериментировать с промптами в реальном времени, используя шаблоны с плейсхолдерами.
- Analyze Page: предназначен для глубокого разбора сгенерированных данных, загруженных из JSON-файлов.
Практическое применение
NeMo-Inspector уже помог в ряде проектов, включая очистку синтетического датасета GSM-Plus и улучшение точности модели OpenMath-Mistral-7B. В первом случае было выявлено 46,99% проблемных данных, а во втором — 26% ошибок были связаны с падением качества сгенерированного кода.
После доработки датасета точность модели выросла на 4,17%. Такие результаты подтверждают эффективность NeMo-Inspector в улучшении качества языковых моделей.
Лицензирование и доступность
NeMo-Inspector распространяется под лицензией Apache 2.0 License. Подробную информацию можно найти на Arxiv и GitHub.
