В новой работе, опубликованной в журнале Nature Machine Intelligence, введена метрика «плотность способностей», которая демонстрирует, что максимальная плотность для открытых больших языковых моделей (LLM) удваивается примерно каждые 3,5 месяца. Это означает, что при фиксированном качестве моделей требуется все меньше параметров для достижения аналогичного результата. Анализ нескольких бенчмарков (MMLU, BBH, MATH и других) подтверждает экспоненциальный рост плотности способностей, указывая на необходимость перехода к более эффективным методам обучения и оптимизации. Примечательно, что цена на токены для инференса также снижается, что делает мощные модели доступными для работы на локальных устройствах. Авторы подчеркивают, что традиционный подход к увеличению параметров теряет актуальность, требуя новых стратегий в разработке и обучении моделей. сравнение российских и мировых моделей новые стратегии в разработке