Запуск крупных языковых моделей локально всегда был проблематичным. Либо нужно тратить большие суммы на оборудование, либо мечтать о недоступной технике. Я наткнулся на объявление о продаже системы Grace-Hopper за 10 тысяч евро и, несмотря на подозрения о мошенничестве, решил рискнуть. Продавец оказался владельцем интернет-магазина, и после небольшой проверки я отправился за покупкой.

Система была в плохом состоянии и работала очень шумно, но я смог забрать ее домой. После тщательной разборки и очистки я решил установить водяное охлаждение, чтобы снизить уровень шума и улучшить производительность.

В процессе адаптации я столкнулся с множеством проблем, включая сбои в работе вентиляторов и странные сообщения о температурах до 16 миллионов градусов. Однако с помощью пайки и доработок я смог заставить систему работать.

Теперь у меня есть настольный компьютер, способный запускать модели с 235 миллиардами параметров, и вся эта работа обошлась мне значительно дешевле, чем ожидалось. Это история о том, как творческий подход позволяет превратить серверное оборудование в мощный инструмент для дома. настольный компьютер