На GitHub появился проект под названием Z80-μLM — это компактная языковая модель, которая может функционировать на 8-битном процессоре Z80 с 64 КБ оперативной памяти. Размер модели составляет всего 40 КБ, включая все необходимые компоненты: вывод, веса и интерфейс чата, упакованные в .COM файл.

Для достижения оптимальных результатов автор использовал хеширование триграмм, что позволяет модели быть устойчивой к опечаткам, хотя и с некоторыми ограничениями в порядке слов. В процессе разработки применялась 16-битная целочисленная математика и тщательная предобработка обучающих данных.

Ключевым аспектом стало обучение с учетом квантования, которое симулирует ограничения кода вывода. Модель обучается, проверяя сохранность знаний после процесса квантования, и адаптируется к ограничениям Z80. Для генерации данных на 20 вопросов автор потратил лишь несколько долларов на API Claude.

Модель можно обучать на Python и экспортировать в бинарном формате CP/M .COM. «Хотя она не сможет писать вам письма, её можно обучить играть в упрощённые версии игр и поддерживать простые беседы с выраженной индивидуальностью», — добавил автор.