Stability AI (разработчики Stable Diffusion) представили первую модель из своего набора языковых моделей.
Альфа-версия модели доступна с 3 миллиардами и 7 миллиардами параметров, а впоследствии появятся модели с 15 миллиардами до 65 миллиардов параметров. Разработчики могут свободно изучать, использовать и адаптировать базовые модели StableLM для коммерческих или исследовательских целей с соблюдением условий лицензии CC BY-SA-4.0.
В 2022 году Stability AI инициировала публичный релиз Stable Diffusion, революционной модели изображений, которая представляет прозрачную, открытую и масштабируемую альтернативу собственному AI. С запуском набора моделей StableLM компания продолжает делать базовые технологии ИИ доступными для всех. Наши модели StableLM могут генерировать текст и код, и они будут использоваться в ряде приложений. Они демонстрируют, как маленькие и эффективные модели могут обеспечивать высокую производительность с правильным обучением.
Выпуск StableLM основывается на опыте по открытию исходного кода предыдущих языковых моделей вместе с EleutherAI, некоммерческим научно-исследовательским хабом. Эти языковые модели включают GPT-J, GPT-NeoX и набор Pythia, которые были обучены на открытом наборе данных The Pile. Многие недавние языковые модели с открытым исходным кодом продолжают развивать эти усилия, включая Cerebras-GPT и Dolly-2.
StableLM обучен на новом экспериментальном наборе данных, основанным на The Pile, но в три раза больше с 1,5 триллиона токенов контента. Разработчики обещают сообщить подробности о наборе данных в ближайшее время. Богатство этого набора данных обеспечивает StableLM удивительно высокую производительность в разговорных и кодировочных задачах, несмотря на его небольшой размер в 3-7 миллиардов параметров (для сравнения, GPT-3 имеет 175 миллиардов параметров).
Stability AI также выпускает набор исследовательских моделей, которые настроены с использованием инструкций. Вначале эти настроенные модели будут использовать комбинацию из пяти последних открытых наборов данных для разговорных агентов: Alpaca, GPT4All, Dolly, ShareGPT и HH. Эти настроенные модели предназначены только для исследовательских целей и выпускаются по не коммерческой лицензии CC BY-NC-SA 4.0, в соответствии с лицензией Alpaca от Стэнфорда.
Посмотрите некоторые примеры ниже, созданные настроенной моделью с 7 миллиардами параметров:
Языковые модели будут составлять основу цифровой экономики, и Stability AI планирует, чтобы каждый имел возможность влиять на их разработку. Модели вроде StableLM демонстрируют приверженность технологии ИИ, которая прозрачна, доступна и поддерживает:
Прозрачность. Мы предоставляем исходный код наших моделей с целью продвижения прозрачности и создания доверия. Исследователи могут “заглянуть под капот” для проверки производительности, работы над методами интерпретируемости, определения потенциальных рисков и разработки защитных мер. Организации из публичного и частного секторов могут адаптировать открытые модели для своих приложений без передачи своих конфиденциальных данных или утраты контроля над своими ИИ-возможностями.
Доступность. Мы разрабатываем для края, чтобы обычные пользователи могли запускать наши модели на локальных устройствах. Используя эти модели, разработчики могут создавать независимые приложения, совместимые с широко доступным оборудованием, вместо того чтобы полагаться на собственные услуги одной или двух компаний. Таким образом, экономическая выгода от ИИ делится широким сообществом пользователей и разработчиков. Открытый, детализированный доступ к нашим моделям позволяет исследовательскому и академическому сообществу разрабатывать методы интерпретируемости и безопасности, которые выходят за рамки возможностей закрытых моделей.
Поддержка. Мы создаем модели для поддержки наших пользователей, а не для их замены. Мы сосредоточены на эффективной, специализированной и практичной производительности ИИ, а не на стремлении к божественному интеллекту. Мы разрабатываем инструменты, которые помогают обычным людям и компаниям использовать ИИ для раскрытия своего творческого потенциала, повышения производительности и открытия новых экономических возможностей.
Модели теперь доступны в репозитории GitHub. В скором времени будет опубликован полный технический отчет о внедрении набора моделей StableLM. Кроме того, команда начинает работу над программой RLHF с привлечением сообщества и сотрудничеством с такими инициативами, как Open Assistant, для создания открытого набора данных для AI-ассистентов.
Вскоре разработчики выпустят больше моделей и расширит команду. Если вы увлечены демократизацией доступа к этой технологии и имеете опыт работы с языковыми моделями, присоединяйтесь к команде!
