Андрей Карпати, основатель стартапа Eureka Labs, сообщил о запуске своего нового проекта — microGPT, который представляет собой полную реализацию обучения и инференса языковой модели GPT всего на 243 строках Python. Этот код не требует внешних зависимостей, используются лишь стандартные библиотеки: math, random, os и argparse.

microGPT включает в себя все необходимые компоненты для работы модели, такие как уникальный движок автоматического дифференцирования, посимвольный токенизатор, архитектуру Transformer с multi-head attention, а также оптимизатор Adam. В отличие от традиционного GPT-2, эта версия применяет RMSNorm вместо LayerNorm и использует squared ReLU в качестве функции активации. превзошла GPT-2

Карпати охарактеризовал microGPT как «арт-проект», отметив, что он показывает весь алгоритмический контент для обучения GPT. По умолчанию модель обучается на наборе данных имен из его предыдущего стартапа makemore.

Хотя данный проект не предназначен для практического применения из-за длительного времени обучения без GPU, его концепция демонстрирует, что все механизмы LLM могут поместиться на двух экранах кода. microGPT уже вызывает интерес на GitHub.