Slotstream — Qwen3.8 Flash Next на Mac
Slotstream запускает Qwen3.8 Flash Next на Apple Silicon Mac с 16–64 ГБ памяти, подгружая востребованные блоки 105-гигабайтной модели с SSD.
Slotstream позволяет запускать Qwen3.8 Flash Next на Mac, которому не хватает оперативной памяти для всей модели. В 4-битном формате веса занимают около 105 ГБ, поэтому движок хранит их на SSD и по мере генерации подгружает нужные блоки в память. Часто используемые части остаются в кэше, остальные читаются с накопителя.
Это локальный движок для компьютеров Apple с чипами Apple Silicon. После однократной загрузки модели ответы формируются на Mac и могут генерироваться без подключения к интернету. Проект написан на Swift с использованием MLX и Metal; для работы не нужен Python.
Как Slotstream запускает большую модель на Mac
Qwen3.8 Flash Next относится к архитектуре Mixture of Experts: для каждого следующего фрагмента ответа активируется только часть специализированных блоков модели. Slotstream подгружает нужных экспертов с SSD и держит наиболее востребованные в оперативной памяти. Поэтому весь набор весов не должен одновременно находиться в RAM.
Такой подход не уменьшает саму модель: файлы весов всё равно занимают примерно 105 ГБ. Скорость зависит от чипа, накопителя, объёма доступной памяти, размера кэша и длины запроса. В частности, чтение длинной истории перед ответом может занять несколько минут, даже если генерация после этого идёт быстрее.
Требования к компьютеру
- Mac с Apple Silicon и macOS 14 или новее;
- не менее 16 ГБ оперативной памяти;
- около 110 ГБ свободного места на SSD для модели.
Минимальные 16 ГБ не гарантируют высокую скорость
Slotstream не поддерживает компьютеры с процессорами Intel, Windows и Linux. Минимальные 16 ГБ означают, что программу можно запустить, но не гарантируют высокую скорость: в оценках проекта для Mac с 16–24 ГБ указано примерно 1–6 токенов в секунду после прогрева. На Mac с 96 ГБ памяти и больше модель помещается в RAM, поэтому движки, которые держат её целиком в памяти, могут отвечать быстрее.
Что показывают замеры
В тестах разработчика от 5 октября 2026 года Mac с M5 Pro и 48 ГБ памяти при бюджете движка 33 ГБ показал такие результаты на исходной 4-битной модели:
| Сценарий | Скорость генерации |
|---|---|
| Короткий запрос | 20,91 токена/с |
| Длинный контекст | 23,69 токена/с |
| Завершённая задача по программированию | 21,59 токена/с |
Генерация — только часть ожидания
Токены в секунду измеряют скорость, с которой модель формирует уже готовящийся ответ. Перед этим Slotstream должен прочитать сам запрос и историю диалога; для длинного контекста это может занять несколько минут. Первое скачивание модели тоже не входит в цифры таблицы.
Каждый сценарий запускали три раза; во время этих замеров система не использовала файл подкачки. Это короткие тесты разработчика, а не независимое сравнение и не гарантия постоянной скорости. Кэш файловой системы не контролировался, а результаты получены на тестовой сборке. На другом Mac, SSD и при иной нагрузке показатели будут отличаться. В документации проекта описаны конфигурация и методика замеров.
Подключение к чатам и ИИ-агентам
Slotstream можно использовать через командную строку, совместимые API или подключить как локальную модель к другим приложениям. В документации заявлена поддержка форматов Ollama, OpenAI и Anthropic, а также интеграции с Claude Code, Codex, Pi, OpenCode и Hermes. Например, команда slotstream launch claude запускает модель и открывает Claude Code с уже настроенным подключением.
После загрузки модели сам ответ может формироваться локально. Однако подключённые агенты способны обращаться к интернету через собственные инструменты — это зависит от настроек клиента, а не от режима работы модели.
Ограничения и лицензия
- Первичная загрузка весов занимает около 105 ГБ и может длиться несколько часов.
- На каждый Mac распространяются требования к памяти и свободному месту; тесное ограничение RAM может замедлить работу или привести к активному использованию подкачки.
- Движок рассчитан на одну модель — Qwen3.8 Flash Next — и обрабатывает одну генерацию за раз.
- Публичных полноценных сравнений качества модели и скорости Slotstream с другими движками на одном и том же оборудовании пока нет.
Slotstream распространяется по лицензии MIT. Отдельно учитывайте лицензию и условия использования самих весов Qwen3.8 Flash Next.
Если хочется сначала разобраться в самой модели, читайте отдельную страницу Qwen3.8 Flash Next. Исходный код, инструкции по установке и список изменений Slotstream опубликованы в репозитории проекта.