Тег: Смесь экспертов

Phi-3.5 MoE — разреженная модель Microsoft на 42 млрд параметров, активирующая около 6,6 млрд параметров для одного запроса.