В последние годы наблюдается рост популярности моделей Mixture of Experts (MoE), которые используют меньше активных параметров по сравнению с Dense моделями. MoE модели требуют меньше видеопамяти (VRAM), что позволяет запускать их на одном GPU с большим объемом оперативной памяти (RAM). Принцип работы MoE заключается в том, что общее количество параметров превышает число активируемых для генерации токенов. В отличие от Dense моделей, MoE состоит из отдельных блоков, называемых экспертами, и роутер, обучаемая нейросеть, определяет, какие эксперты будут задействованы. новыми вызовами для ИИ

На примере модели GPT-OSS-120B видно, что из 128 доступных экспертов активируются только 4, что позволяет снизить ресурсоемкость на 24 раза. Эффективность работы MoE можно повысить, перераспределяя нагрузки между CPU и GPU, оптимизируя использование видеопамяти. Разные архитектуры MoE моделей предлагают различные варианты ускорения, и их производительность может значительно варьироваться.

Также стоит отметить, что MoE начинает использоваться не только для языковых моделей, но и в других областях нейросетей, таких как генерация видео. Это открывает новые горизонты для локального использования, даже на системах с ограниченными ресурсами. новых языковых моделях