Alibaba представила инновационный метод обучения ИИ-моделей без поиска в интернете
Китайская технологическая компания Alibaba разработала и представила открытый проект ZeroSearch, который предлагает новый подход к обучению нейросетей. Этот метод позволяет снизить затраты на обучение моделей искусственного интеллекта на 88%, делая разработку доступных для более широкого круга разработчиков.
Как работает ZeroSearch
ZeroSearch представляет собой платформу, на которой нейросети обучаются в симулированной среде без прямого взаимодействия с поисковыми системами. Процесс обучения включает в себя генерацию релевантных страниц и документов переменной длины, что позволяет моделировать сложные поисковые сценарии. Этот подход помогает нейросетям развивать способность “рассуждать” и выделять необходимую информацию из предоставленных данных.
- Сторонняя модель генерирует релевантные страницы.
- Генерируются документы всё большей длины для симуляции сложных сценариев.
- Нейросеть учится “рассуждать” и вычленять необходимую информацию.
Преимущества ZeroSearch
Одним из значительных преимуществ ZeroSearch является существенное снижение затрат на обучение нейросетей. Согласно подсчётам, приведённым South China Morning Post, отправка 64 тысяч запросов в Google обойдётся примерно в $586,7, в то время как использование ZeroSearch для обучения модели с 14 млрд параметров будет стоить около $70,8. Это означает снижение расходов на 88%.
Более того, Alibaba утверждает, что нейросети, обученные с помощью ZeroSearch, выдают более релевантные ответы по сравнению с моделями, которые ищут информацию напрямую в поисковых системах. Однако, остаётся неясным, насколько хорошо эти модели показывают себя в реальных условиях поиска после завершения обучения.
Возможности для разработчиков
Разработчики могут воспользоваться платформой ZeroSearch для обучения своих собственных моделей. Необходимые данные и ресурсы доступны для скачивания на GitHub (https://github.com/Alibaba-nlp/ZeroSearch) и HuggingFace (https://huggingface.co/collections/sunhaonlp/zerosearch-681b4ce012b9b6899832f4d0).
Проект ZeroSearch от Alibaba представляет собой значительный шаг в направлении демократизации технологий искусственного интеллекта, делая их более доступными для небольших команд и разработчиков по всему миру.
