Комплектная AI-система для старта проекта
Проработанное решение
ЗадачаКоманда хочет проверить или запустить собственную AI-нагрузку.
Что получает заказчикБыстрый переход к испытанию задачи на контролируемой инфраструктуре.
Из чего состоитКомплектный сервер с ускорителями, подходящие CPU/RAM и локальные накопители, подключение к данным, сеть и программный стек. Подтверждаем модель ускорителя, драйверы, фреймворк, контейнеры, питание и охлаждение. Отдельные ускорители в активное предложение не включаем.
Как измеряем результатВремя эталонной задачи, загрузка ускорителя, полезная производительность на единицу затрат.
ПлатформыПриоритетный Ascend-вариант — комплектная Huawei Atlas для выбранного сценария. NVIDIA-варианты: Supermicro GPU Systems, Dell PowerEdge XE, HPE ProLiant AI и xFusion G-серии. Пилот подбираем под модель, память и программный стек.
С каких вопросов начинаем
- Какая модель и задача, нужен инференс, дообучение или обучение?
- Каковы объём данных, память модели, стек и требования к времени результата?
- Где будет установлен сервер и какой запас питания и охлаждения доступен?
Что передаём по итогам
Проверенная комплектная система и программный стек, протокол PoC, запущенная задача и обучение. Приёмка: время, память, полезная загрузка и устойчивая работа на целевых версиях ПО.
Промышленный инференс и сервисы LLM
Проработанное решение
ЗадачаНужно обслуживать стабильный поток запросов к AI-моделям.
Что получает заказчикПредсказуемое время ответа и контроль размещения данных.
Из чего состоитПул комплектных AI серверов, балансировка запросов, среда инференса, хранение моделей и данных, сеть, управление, мониторинг и контроль доступа. Подбираем запас для пиков и отказов, лимиты и обновление моделей без нарушения согласованных условий сервиса.
Как измеряем результатЗадержка первого ответа, запросов в секунду, стоимость запроса, доступность.
ПлатформыДля промышленного инференса рассматриваем Huawei Atlas 800I с Ascend-стеком. Альтернативы: комплектные Supermicro GPU, Dell PowerEdge XE, HPE Private Cloud AI и xFusion G-серии с поддержанной средой исполнения. Cisco UCS AI относится к расширенному охвату с отдельным подтверждением маршрута.
С каких вопросов начинаем
- Какие модели, контекст, число одновременных запросов и требования к задержке?
- Какие требования к размещению данных, качеству ответа и доступности?
- Как будет подключаться приложение и кто обновляет модель?
Что передаём по итогам
Расчёт нагрузки, архитектура и внедрённый AI-сервис. Протокол задержки первого ответа, пропускной способности, качества, перегрузки/отказа реплики и контроля доступа; инструкции эксплуатации.
Кластер обучения и дообучения моделей
Проработанное решение
ЗадачаОдин сервер не справляется с объёмом обучения и данных.
Что получает заказчикКороче цикл экспериментов при подтверждённом масштабировании.
Из чего состоитКомплектные обучающие узлы, вычислительная fabric, отдельная сеть управления, общее быстрое хранение, загрузка данных и программная среда распределённого обучения. Добавляем планировщик, мониторинг, питание и охлаждение с расчётом полной нагрузки.
Как измеряем результатВремя обучения, скорость чтения данных, эффективность масштабирования, загрузка ускорителей.
ПлатформыAscend-ветка: Huawei Atlas 800T либо Atlas 900 по точной ревизии. NVIDIA / AMD-варианты: Supermicro HGX, Dell PowerEdge XE, HPE XD / Cray и xFusion G-серии по HCL. Rack-scale системы рассматриваем отдельным вариантом архитектуры.
С каких вопросов начинаем
- Каковы модель, набор данных, точность, режим обучения и целевое время?
- Как выглядит коммуникационный профиль и поддержан ли распределённый стек?
- Сколько узлов планируется сейчас и при расширении, готова ли площадка?
Что передаём по итогам
Архитектура и BOM кластера, настроенный стек, монтаж и обучение. Протокол времени обучения/масштабирования, чтения данных, межузлового обмена, длительной нагрузки и восстановления задания из checkpoint.
Общий AI-пул для нескольких команд
Проработанное решение
ЗадачаУскорители заняты неравномерно, команды конкурируют за ресурсы.
Что получает заказчикВыше полезная загрузка оборудования, прозрачнее приоритеты и потребление.
Из чего состоитПул комплектных AI серверов, управление заданиями, квоты, изоляция команд, каталог сред, хранение и наблюдение за ресурсами. Требуются резервное копирование конфигураций, права доступа и подтверждённые лицензии планировщика или платформы.
Как измеряем результатВремя ожидания, доля полезной загрузки, использование квот, стоимость задачи.
ПлатформыОбщий AI-пул формируем на Huawei Atlas либо комплектных системах Supermicro, Dell, HPE и xFusion. Варианты управления включают поддержанную платформу планирования, HPE Private Cloud AI или средства Supermicro для AI-команд по их охвату. Квоты и изоляцию включаем в проект программного слоя.
С каких вопросов начинаем
- Сколько команд и какие задания, пики и требования к изоляции?
- Как распределяем приоритеты, квоты и стоимость потребления?
- Какие инструменты оркестрации и доступы уже используются?
Что передаём по итогам
Платформа общего пула, квоты, доступы и обучение команд. Протокол назначения ресурсов, изоляции, ожидания задания, полезной загрузки, учёта потребления и восстановления среды.
AI-обработка непосредственно на объекте
Подбираем под задачу
ЗадачаПоток видео или данных нельзя целиком передавать в центральный ЦОД.
Что получает заказчикБыстрее реакция на события, ниже потребность в канале передачи.
Направление работ: состав подбираем после обследования и уточнения требований.
Как измеряем результатЗадержка обработки, потоков на узел, объём передаваемых данных, время автономности.
С каких вопросов начинаем
- Какие камеры или датчики?
- Какой поток, точность, среда установки и доступность канала?
Ускоренные научные и инженерные расчёты
Подбираем под задачу
ЗадачаПоддерживаемая расчётная задача слишком долго выполняется на CPU.
Что получает заказчикБольше итераций моделирования в доступное проектное время.
Направление работ: состав подбираем после обследования и уточнения требований.
Как измеряем результатВремя расчёта, численная точность, стоимость расчёта, загрузка ускорителей.
С каких вопросов начинаем
- Есть ли GPU-версия пакета?
- Подтверждены ли точность и масштабирование?
Вычислительный кластер CPU / HPC
Подбираем под задачу
ЗадачаРасчёты и моделирование выполняются слишком долго или стоят в очереди.
Что получает заказчикБольше расчётных вариантов за то же время, короче цикл исследований.
Направление работ: состав подбираем после обследования и уточнения требований.
Как измеряем результатВремя расчёта, ожидание в очереди, эффективность масштабирования.
С каких вопросов начинаем
- Какие пакеты и модели?
- Как масштабируются расчёты?
- Как лицензируется ПО?