Почему обычный сервер не выдержит ИИ‑нагрузок и как мы создали аппаратный стек для ПАК

Продолжая серию о инфраструктуре для задач искусственного интеллекта, мы переходим от стратегических вопросов выбора между самостоятельной сборкой и готовым ПАК к детальному разбору аппаратного стека. Стандартные серверы, рассчитанные на традиционные нагрузки, часто не способны обеспечить требуемую пропускную способность памяти, мощность питания и эффективность охлаждения, что приводит к узким местам в обучении больших моделей.

Первый слой – графические процессоры. Мы остановились на NVIDIA H100, чья вычислительная мощность достигает 700 Вт и 2,5 ТБ/с памяти, а также поддерживает PCIe 5.0 и NVLink‑мосты. Главный вызов заключался в том, чтобы разместить максимум GPU в ограниченном пространстве, не превысив тепловой пакет и энергопотребление. Решение: модульные блоки по четырём картам, каждый со своей системой питания и прямым подключением к шине, что позволяет масштабировать узел без деградации пропускной способности.

Второй слой – электропитание. Для стабильной работы при пиковой нагрузке в 2 кВт на узел мы разработали распределённую 48 В DC‑систему с двойными резервными блоками КПД > 95 %. Такая схема снижает потери на преобразование и упрощает кабельную разводку, а также даёт возможность быстро заменять блоки без простоя. По оценкам, экономия энергии достигает 12 % по сравнению с традиционными 12 В AC‑решениями, что заметно сказывается на операционных расходах.

Третий слой – система охлаждения. Воздушные решения быстро достигают предела при плотной упаковке GPU, поэтому мы перешли к закрытой жидкостной системе с холодными пластинами, охватывающими каждую видеокарту. Теплоотвод до 30 kW реализован через два радиатора и внешний чиллер, поддерживая рабочие температуры GPU в диапазоне 30‑45 °C. Это не только повышает стабильность, но и улучшает частоту ядра на 3‑5 % благодаря более низкому тепловому шуму.

Четвёртый слой – хранилище данных. Для обучения моделей размером в сотни гигабайт нам нужны быстрые NVMe‑накопители с пропускной способностью 8 ТБ/с на узел. Мы использовали 8 TB U.2 SSD в RAID‑10, обеспечивая одновременно низкую латентность и высокую надёжность. Такая конфигурация позволяет передавать тренировочные батчи без задержек, что сокращает общее время обучения на 15‑20 %.

Итоги: сочетание выбранных GPU, энергоэффективного питания, жидкостного охлаждения и высокоскоростного NVMe‑хранилища формирует специализированный ПАК, который в среднем стоит 30 % дешевле и показывает в 1,8‑2 раза большую производительность по сравнению с типичным сервером того же класса. Эти инженерные решения делают масштабирование ИИ‑инфраструктуры предсказуемым и экономически оправданным для компаний, работающих с крупными моделями.