Qwen3.8-27B Cyber Uncensored — GGUF-квантование для ИИ-агентов

Qwen3.8-27B Cyber Uncensored — локально запускаемая производная модели Qwen3.8-27B в формате GGUF. Её особенность — не только сжатие до IQ4_XS, но и калибровка квантования на диалогах с кодовыми агентами: в набор вошли реальные вызовы инструментов, команды и пути к файлам.

Важно различать саму модель и эту сборку. Киберспециализированную версию создал автор philbert440; репозиторий на Hugging Face добавляет к ней квантование и матрицу важности, но, по заявлению его автора, не дообучает и не меняет поведение модели. Это не официальный релиз команды Qwen. Базовую модель Qwen3.8-27B мы описали на отдельной странице.

Зачем калибровать модель на работе кодовых агентов

Одной читаемости ответа недостаточно

Квантование уменьшает объём весов модели, чтобы её было проще хранить и запускать. При этом некоторые детали могут передаваться менее точно. Для кодового агента проблема не ограничивается стилем текста: одна неверная буква в пути, аргументе команды или поле JSON способна сорвать вызов инструмента, даже если весь ответ выглядит убедительно.

Матрица важности — это статистика, которая помогает алгоритму квантования решить, какие части модели сильнее влияют на ответы и требуют более аккуратного сжатия. Обычно её рассчитывают на общем тексте. В этой сборке использовали материал, похожий на рабочий поток кодового агента: структурированные вызовы инструментов, специальные маркеры диалога, команды и длинные строки, которые важно воспроизводить без изменений.

Что вошло в набор для калибровки

Автор сборки сообщает о 42 сессиях, 648 репликах и 528 реальных вызовах инструментов. В наборе также было 547 маркеров вызова инструмента, а среди данных — пути к репозиториям, команды оболочки и их аргументы. Сам корпус не опубликован: доступна полученная матрица важности, но полностью повторить калибровку на тех же исходных диалогах нельзя.

Что проверяли после сжатия

Точность отдельных строк и названий инструментов

В опубликованной проверке сборка IQ4_XS точно воспроизвела 7 из 7 выбранных строк — например, путей, идентификаторов и других буквальных значений из контекста. Названия инструментов также сохранились в трёх проверенных вариантах написания: строчными буквами, в snake_case и camelCase. Это полезные проверки для агентского сценария, но выборка из семи строк не является доказательством общей точности модели на всех задачах программирования.

Для сравнения с IQ4_XS автор использовал Q5_K_M. На отложенных фрагментах текста показатель perplexity у IQ4_XS оказался примерно на 0,42% выше. Это небольшой, но измеренный компромисс при заметно меньшем размере файла; perplexity оценивает предсказание следующего токена и сама по себе не заменяет тесты качества кода или успешности выполнения задач.

Откуда взялась заявленная прибавка скорости

Автор сообщает, что в восьми парных прогонах с сопоставимой длиной запросов IQ4_XS показал в среднем 1,20× пропускной способности по сравнению с Q5_K_M. Измерения проводились на одной видеокарте NVIDIA V100 в FastLLM. Это результат конкретной конфигурации, а не обещание ускорения на любом GPU, процессоре или движке вывода.

Проверка описывает узкий сценарий работы кодового агента: точное воспроизведение строк, названия инструментов и поведение на отложенном наборе агентских диалогов. Она не подтверждает превосходство в общем письме, знаниях, безопасности или любых других задачах. Данные и выводы принадлежат авторам сборки и не являются независимой оценкой.

Размер файлов, контекст и совместимость

Две сборки IQ4_XS

Если программа не заявляет поддержку совместимого MTP-варианта, выбирайте сборку без MTP. В карточке также указан контекст до 262 144 токенов. Это максимальное поддерживаемое значение, а не гарантия, что такой объём поместится в память конкретного устройства: расход зависит от настроек контекста, кэша и среды запуска.

Файлы получены повторным квантованием версии Q8_0, а не непосредственно исходных весов BF16. Для обработки изображений нужен отдельный совместимый vision-проектор — он не входит в два описанных GGUF-файла. Автор сообщает, что тестовая конфигурация использовала FastLLM, одну V100, кэш turbo3 и пакетную обработку; конкретные результаты могут отличаться при других настройках.

Происхождение модели и условия использования

Что означает пометка Uncensored

В основе лежит Qwen3.8-27B, затем производная Aggressive и киберспециализированная версия Cyber от philbert440. Последний автор описывает её как модель с ослабленными отказами в кибернетической и наступательной тематике. Поэтому название Uncensored не означает, что модель прошла независимую проверку безопасности или что её ответы можно считать надёжными. Используйте её только в законных и контролируемых сценариях, а команды и изменения проверяйте до запуска.

Карточка сборки указывает лицензию Apache 2.0, унаследованную от базовой модели. Перед распространением изменённых весов или коммерческим использованием ознакомьтесь с условиями в карточках исходной модели и сборки.

Где скачать

Файлы GGUF, опубликованная матрица важности и описание методики доступны в карточке сборки на Hugging Face. Описание исходной Cyber-модели находится в карточке philbert440.