Groq может перейти на 3D-DRAM в новых LPU ради большей памяти

Groq, приобретённая NVIDIA, предположительно готовит новое поколение LPU с памятью 3D Stacked DRAM. Об этом сообщил источник из полупроводниковой отрасли. Информация пока не подтверждена самой компанией, однако такой переход выглядел бы логичным на фоне роста размеров ИИ-моделей: их запуску всё чаще нужна не только высокая пропускная способность, но и большой объём быстрой локальной памяти.

В нынешних ускорителях Groq используется SRAM. Каждый LPU оснащён 500 МБ такой памяти и обеспечивает пропускную способность 150 ТБ/с. В стойках Groq установлено по 256 чипов: суммарно это даёт около 128 ГБ SRAM и 640 ТБ/с пропускной способности между ускорителями. Производительность одного Groq LPU заявлена на уровне 1,20 PFLOPs в вычислениях FP8.

Ранее в этом году NVIDIA представила стойки Groq LPX как часть экосистемы Vera Rubin для повышения производительности инференса — запуска уже обученных нейросетевых моделей. В августе LPX перешли в массовое производство. В связке с серверами NVL72 ранние результаты продемонстрировали рекордные 3400 токенов в секунду.

Почему DRAM может заменить SRAM

SRAM отличается очень высокой скоростью, но её сложно наращивать до больших объёмов: такая память занимает заметную площадь на кристалле. DRAM медленнее, зато позволяет существенно увеличить ёмкость. По данным отраслевого инсайдера, Groq намерена внедрить 3D-упаковку в следующих чипах и будет размещать слоями именно DRAM, а не применяемую сейчас SRAM.

3D Stacked DRAM предполагает вертикальное объединение нескольких слоёв памяти в одном корпусе. Для соединения используются TSV — сквозные кремниевые переходы. Похожий принцип уже применяется в HBM-памяти. Такая компоновка помогает сократить занимаемую площадь и потенциально повысить энергоэффективность по сравнению с традиционными корпусами DRAM.

Ставка на ёмкость для крупных моделей

Переход не означает, что Groq полностью откажется от скорости: предполагается, что разработчик постарается сохранить часть преимуществ своих нынешних решений с высокой пропускной способностью. Но ключевым параметром для следующего поколения, судя по утечке, станет именно объём памяти. Это важно для всё более крупных языковых и мультимодальных моделей, которым требуется хранить больше параметров и данных во время инференса.

Также есть указание, что Groq может не объединять решения на DRAM и SRAM в одном продукте, а предлагать рынку отдельные варианты под разные сценарии. В таком случае системы с SRAM сохранят преимущество там, где критична максимальная скорость доступа к данным, а чипы с 3D-DRAM будут ориентированы на более ёмкие модели.

Если сведения подтвердятся, новые LPU могут стать заметным дополнением для ИИ-фабрик и платформ NVIDIA. При этом характеристики будущих чипов, сроки их выпуска, конфигурации памяти и реальная производительность пока не раскрывались.