Локальные uncensored-модели для смартфона

На смартфоне можно запускать не только компактные официальные модели. На Hugging Face есть пользовательские варианты Gemma, Qwen и MiniCPM, в которых авторы сборок пытались уменьшить количество отказов. Автор Sudo su (@sudoingX) собрал такие файлы в подборку для телефонов с 8, 12, 16 и 24 ГБ оперативной памяти.

Это список отдельных GGUF-файлов, а не одна модель или приложение. На Futuretools есть отдельные страницы о базовых Gemma 4, Qwen3.5-2B, Qwen3.5-4B и Qwen3.5-9B; здесь собраны пользовательские варианты этих моделей и несколько соседних сборок. Поддержка конкретного файла зависит от приложения и его версии, поэтому результат стоит проверить на своём телефоне.

Что означают uncensored, abliterated и heretic

Эти слова в карточках моделей обычно означают, что сторонний автор изменил готовые веса или дообучил модель, чтобы она реже отказывалась отвечать. Это не официальные варианты Google, Alibaba или OpenBMB и не знак качества. Метки aggressive, heretic и uncensored тоже не образуют единой шкалы: у разных авторов они могут обозначать разные методы и результаты.

В некоторых карточках указано, что сборка отказала на 0 из 465 запросов или что число отказов снизилось, например, с 99 до 3 из 100. Это результаты, опубликованные самими авторами сборок: независимого воспроизведения в этой подборке нет. Такой счётчик ничего не говорит о точности ответов, поведении на других запросах или качестве встроенной защиты приложения.

Проверяйте лицензию на странице каждой модели. У базовых Gemma и Qwen разные условия использования; пользовательская GGUF-сборка может наследовать ограничения исходной модели. Публичная загрузка весов сама по себе не означает, что их можно применять без ограничений.

Как соотнести размер файла и память телефона

Размер GGUF-файла — это объём загрузки и хранения, а не точная потребность в оперативной памяти. Во время ответа приложению также нужны рабочая память, кэш контекста и ресурсы самой операционной системы. Чем длиннее переписка, тем больше памяти может занять кэш. Для обработки изображений или звука отдельным моделям дополнительно требуются вспомогательные файлы.

В названиях квантованных файлов обозначения Q4, Q8 и IQ4 описывают степень сжатия весов. Более компактный вариант проще разместить на устройстве, но он не обязательно даст ту же точность, скорость или качество, что более крупный. Если телефон выгружает приложение, нагревается или отвечает медленно, попробуйте меньший файл и короткий контекст.

Указанные в исходной подборке группы по 8, 12, 16 и 24 ГБ — ориентир по общей памяти устройства, а не гарантия запуска. Одинаковые телефоны могут иметь разные объёмы памяти в зависимости от конфигурации и региона. Оставляйте запас для системы и приложений; особенно осторожно выбирайте модель, файл которой занимает почти половину всей ОЗУ.

Варианты для смартфонов с 8 ГБ ОЗУ

Gemma 4 E2B Aggressive

Вариант в формате GGUF с квантованием Q4_K_P весит около 3,45 ГБ. Автор модели заявляет 0 отказов на 465 запросах в своём тесте. Файл занимает заметную часть памяти телефона, поэтому фактическая возможность запуска зависит от контекста, приложения и свободной ОЗУ.

Qwen3.5-4B Aggressive

Для этой сборки доступен Q4_K_M размером около 2,71 ГБ. В карточке автора также указано 0 отказов на 465 тестовых запросах. Проверьте, что выбранная версия приложения поддерживает эту архитектуру и шаблон чата.

MiniCPM5 2B Heretic

Компактный файл Q4_K_M занимает около 1,56 ГБ. Автор GGUF-сборки приводит результат 99 отказов до изменения и 5 после него на своей выборке из 100 запросов. Это пользовательский тест, а не независимое сравнение.

Qwen3.5-2B Aggressive

Самый компактный вариант в этой группе: Q4_K_M весит около 1,27 ГБ. С небольшим файлом проще начать на телефоне, но он всё равно использует дополнительную память во время работы.

Варианты для смартфонов с 12 ГБ ОЗУ

Gemma 4 E4B Aggressive

Файл Q4_K_M — около 5,34 ГБ. Автор сборки заявляет 0 отказов на 465 запросах. При запуске учитывайте не только этот файл: в репозитории есть отдельный вспомогательный файл для мультимодальных возможностей.

Gemma 4 E4B Heretic

Сборка на основе Gemma 4 E4B с Q4_K_M весит около 5,34 ГБ. В её карточке сообщается о снижении числа отказов с 99 до 3 на тесте из 100 запросов. Это оценка автора репозитория, а не единый стандарт для моделей.

Qwen3.5-9B Aggressive

Квантованный файл Q4_K_M занимает около 5,63 ГБ; автор модели указывает 0 отказов на 465 запросах. Для телефона с 12 ГБ это уже требовательный вариант: запас памяти зависит от объёма контекста и от того, какие приложения остаются открытыми.

Варианты для смартфонов с 16 ГБ ОЗУ

Qwen3.5-9B The Defiant Fable Heretic

В репозитории есть вариант IQ4_XS размером примерно 6,40 ГБ. Это отдельная пользовательская сборка Qwen3.5-9B. Названия и наборы файлов у проекта длинные, поэтому перед загрузкой проверьте точное обозначение квантизации и то, что скачиваете именно основной файл модели.

Ornith 1.5 9B Uncensored

Файл Q4_K_M занимает около 5,63 ГБ. Это отдельная модельная сборка; её не следует путать с Qwen только потому, что для обоих вариантов в списке выбрана близкая квантизация.

Qwen3.8-9B Heretic

Вариант Q4_K_M также занимает около 5,63 ГБ. Страница Hugging Face содержит остальные варианты сжатия; выберите файл под возможности телефона и конкретного приложения.

Варианты для смартфонов с 24 ГБ ОЗУ

Qwen3.5-9B Aggressive в Q8

Более крупный файл Q8_0 весит около 9,53 ГБ. Он занимает больше места, чем Q4-версия того же репозитория, поэтому оцените свободную ОЗУ до загрузки, а не ориентируйтесь только на номинальные 24 ГБ.

Qwen3.6-35B-A3B Aggressive

Для этой модели указан файл IQ2_M примерно на 11,66 ГБ. Это экспериментальный вариант из исходного списка: его автор прямо отмечает, что не запускал его на телефоне. Поэтому размер файла не подтверждает, что модель поместится в рабочую память или будет пригодна для повседневного использования.

Скорость Gemma 4: что именно измеряла Google

В подборке приведены ориентиры Google для базовых, не модифицированных моделей Gemma 4 в собственном мобильном стеке LiteRT: около 56,5 токена в секунду для E2B на iPhone 17 Pro и 52,1 — на Galaxy S26 Ultra; для E4B — около 25,1 и 22,1 соответственно. В измерениях использовались конкретные устройства и GPU-бэкенд.

Эти цифры нельзя переносить на пользовательские GGUF-сборки из списка. У них другие веса и квантизация, а PocketPal, ChatterUI и другие приложения используют собственные версии движка. Google публикует методику и результаты для базовых моделей в документации LiteRT-LM; карточки базовых моделей доступны для Gemma 4 E2B и Gemma 4 E4B.

В каких приложениях запускать GGUF

PocketPal AI доступен для iOS и Android и заявляет поддержку GGUF-моделей с Hugging Face. На Android локальный режим GGUF поддерживает ChatterUI; в репозитории проекта указано, что версия для iOS сейчас недоступна. Совместимость конкретной сборки проверяйте до загрузки: одинакового расширения GGUF недостаточно, если приложение ещё не поддерживает нужную архитектуру.

В исходном изображении также упомянут LLM Farm для iPhone. Однако в актуальном описании проекта разработчик сообщает, что приложение временно недоступно в App Store и TestFlight. Его можно проверить по странице LLM Farm на GitHub, но перед установкой стоит уточнить статус распространения.

После загрузки файла выберите локальный режим приложения и проверьте работу без подключения к сети. Само локальное выполнение модели не требует отправлять запрос облачному ИИ, но загрузка весов требует интернета, а сетевые функции, история переписки и настройки конфиденциальности зависят от приложения. Не считайте слово «локальная» автоматической гарантией приватности.

Коротко о выборе

Для первого запуска разумно начать с небольшого файла Q4 и короткого контекста. Если приложению не хватает памяти, телефон перегревается или система закрывает чат, переход на более крупную модель проблему не решит. Для сравнения моделей используйте одинаковые запросы, приложение и настройки, а результаты «0 отказов» воспринимайте как заявления авторов конкретных сборок.

Подборка и исходное изображение: Sudo su (@sudoingX) в X. Состав сборок, размеры файлов и их лицензии могут меняться — перед загрузкой сверяйте актуальную карточку на Hugging Face.