Андрей Карпати, ранее работавший в Tesla, достиг впечатляющего результата, создав модель, которая превосходит GPT-2 по тесту CORE. Для этого ему понадобилось всего $73 и 3 часа работы на одном из восьми GPU H100. В отличие от оригинальной GPT-2, обучение которой в 2019 году стоило около $43,000 и длилось больше недели на 32 TPU v3, новая модель демонстрирует существенное снижение затрат. Этот успех стал возможен благодаря улучшениям на всех уровнях: более быстрому оборудованию (H100 вместо TPU v3), оптимизированному программному обеспечению (включая Flash Attention 3 и torch.compile), а также новшествам в алгоритмах и высококачественным данным. По словам Карпати, стоимость обучения GPT-2 снижается на 40% ежегодно. Проект nanochat был реализован в около 1000 строк кода за счет современных архитектурных решений и теперь представляет собой вызов для других участников с рекордным временем 3,04 часа обучения до уровня GPT-2. Поддержать Карпати можно через канал «сбежавшая нейросеть», где он делится творческими аспектами ИИ. мнение Андрея Карпати компактную реализацию обучения GPT