HopperNVIDIA H100
Ускоритель в исполнениях SXM (для платформ HGX), PCIe и H100 NVL. Узел HGX H100 объединяет восемь GPU — суммарно 640 GB HBM.
Для каких задачОбучение и дообучение нейросетей, генеративный ИИ, рекомендательные системы, компьютерное зрение, научные вычисления (FP64).
В спецификации указываем исполнение GPU: SXM, PCIe и NVL заметно отличаются по памяти, связности и условиям размещения.
HopperNVIDIA H200
До 141 GB HBM3e и 4,8 TB/s на GPU — примерно в 1,76 раза больше памяти и в 1,43 раза выше её пропускная способность, чем у H100 SXM. Узел HGX H200 — суммарно 1128 GB HBM. Есть исполнение H200 NVL для PCIe-серверов.
Для каких задачЗадачи, ограниченные объёмом и полосой памяти: крупные языковые модели, длинный контекст, много одновременных запросов.
Преимущество по памяти — не универсальный прирост скорости: для FP64-расчётов паспортные значения H100 и H200 совпадают.
Blackwell UltraNVIDIA HGX B300
Платформа с восемью GPU B300, NVLink пятого поколения (до 1,8 TB/s на GPU) и NVSwitch. Поддержка низкой точности, включая FP4. Бывают серверы с воздушным и с жидкостным охлаждением — способ охлаждения задаёт конкретная модель сервера.
Для каких задачСовременные нагрузки ИИ: обучение и дообучение, длинный контекст, reasoning, модели Mixture-of-Experts, производственный inference.
Объём памяти на GPU в документах производителей различается — в спецификации фиксируем конкретную модель сервера и подтверждённое значение.
Grace Blackwell UltraNVIDIA GB300 NVL72
Система уровня стойки: 18 вычислительных лотков (36 CPU Grace и 72 GPU) и девять лотков NVLink Switch — все 72 GPU в одном NVLink-домене. Около 20 TB HBM у GPU и 17 TB LPDDR5X у CPU.
Для каких задачInference крупных моделей в реальном времени, обучение очень больших языковых моделей, масштабная аналитика.
CPU Grace — архитектура Arm: заранее проверяем контейнеры, библиотеки и лицензируемое ПО под Arm64. Стойка требует жидкостного охлаждения и подготовленной площадки.