Основатели vLLM, известного open-source движка для больших языковых моделей, запустили новый стартап под названием Inferact, который уже привлек $150 миллионов на начальном этапе финансирования с оценкой в $800 миллионов. Раунд инвестиций возглавили такие компании, как Andreessen Horowitz и Lightspeed, а также участвуют Sequoia, Databricks Ventures и фонд канцлера UC Berkeley. Движок vLLM имеет более 2000 контрибьюторов и интегрирован в экосистему PyTorch. Он значительно ускоряет работу таких ассистентов, как Rufus (Amazon), Assistant (Roblox) и Hiring Assistant (LinkedIn). Инновационная технология PagedAttention оптимизирует использование памяти GPU, сокращая потери до почти нуля. Среди сооснователей — профессор Беркли Ион Стойка и Вусук Квон, который разработал архитектуру vLLM. CEO Саймон Мо планирует выпустить коммерческую версию движка, упростив развертывание ИИ-моделей. Недавно другой проект из лаборатории Стойки стал стартапом RadixArk с оценкой $400M, что сигнализирует о фокусе инвесторов на запуске, а не обучении моделей в AI-инфраструктуре.