В беседе с Роном Бароном основатель xAI Илон Маск раскрыл информацию о Grok 5, который обучается на новом суперкомпьютере Colossus 2. Хотя Colossus 2 пока не достиг полной мощности (планируется 1 млн GPU к 2026 году), разработчики уже нацелились на модель с рекордными 6 трлн параметров. Для сравнения, такие модели, как Qwen3-Max и Kimi K2, имеют по 1 трлн параметров, а GPT-4o — 1,7 трлн. Grok 4 варьируется от 1,7 до 3 трлн параметров в зависимости от источника. При этом команда Grok использует архитектуру MoE (Mixture of Experts), активируя лишь часть параметров для каждого токена, что позволяет эффективно экономить ресурсы.