Запуск крупных языковых моделей на домашнем оборудовании всегда был сложной задачей, требующей значительных финансовых вложений. Однако на Reddit я нашёл уникальную возможность: систему Grace-Hopper за 10,000 евро. В ней были два суперчипа Nvidia Grace-Hopper, 2 процессора, 2 GPU H100 и 480 ГБ памяти, что значительно превосходило моё текущее оборудование. Несмотря на первоначальные сомнения, я решился на покупку и отправился к продавцу, который оказался владельцем интернет-магазина по продаже модифицированного серверного оборудования. После успешной сделки я столкнулся с рядом проблем при настройке системы, включая шумные вентиляторы и неправильно работающие датчики температуры. Тем не менее, после нескольких модификаций и ремонта я смог собрать мощную настольную систему, способную запускать модели с 235 миллиардами параметров. В итоге, я потратил около 9000 евро, что оказалось выгодной инвестицией в мощный ИИ-оборудование.