Когда серверам ИИ требуются более совершенные технологии охлаждения! Почему тенденция смещается от «воздушного охлаждения» к «жидкостному охлаждению»

 

Генеральный директор NVIDIA Дженсен Хуан специально появился на COMPUTEX 2023, чтобы поддержать речь председателя Supermicro Чарльза Ляна. Председатель Fanner Линь Юйшэнь отметил, что большинство серверных продуктов, представленных на сцене, были оснащены модулями водяного охлаждения Fanner. Fanner, инвестировавшая в модули водяного охлаждения в течение многих лет, имеет все возможности для извлечения выгоды из этой волны ИИ. Однако, поскольку серверы ИИ требуют все более высоких стандартов охлаждения, почему тенденция смещается с «воздушного охлаждения» на «жидкостное охлаждение»?

 

 

I От высокоскоростной работы до жидкостного охлаждения

 

Говоря о технологии охлаждения, Линь Юйшэнь отметил, что современные модули охлаждения в основном используют гибридную технологию охлаждения, включающую тепловые трубки. Эти модули охлаждения с тепловыми трубками объединяют такие компоненты, как вентиляторы, радиаторы и тепловые трубки, чтобы создать сбалансированную тепловую среду для внутренних электронных компонентов, тем самым повышая стабильность электронных устройств. Однако, поскольку электронные продукты конечного уровня становятся более многофункциональными и компактными, производители модулей охлаждения перешли на проектирование решений охлаждения, основанных на испарительных камерах и тепловых трубках.

 

В настоящее время модули охлаждения делятся на два типа: «воздушное охлаждение» и «жидкостное охлаждение». Воздушное охлаждение использует воздух в качестве среды, а такие материалы, как материалы термоинтерфейса, паровые камеры (VC) или тепловые трубки, проводят тепло, которое затем рассеивается через радиаторы или вентиляторы посредством воздушной конвекции. Напротив, жидкостное охлаждение рассеивает тепло посредством жидкостной конвекции, включая иммерсионное охлаждение, которое охлаждает чипы более эффективно. Однако по мере того, как чипы выделяют больше тепла и становятся меньше, а также по мере увеличения тепловой расчетной мощности (TDP), воздушного охлаждения постепенно становится недостаточно.

 

▲ Сравнение технологий воздушного и жидкостного охлаждения

 

С ростом ChatGPT генеративный ИИ привел к увеличению поставок серверов, что в свою очередь привело к обновлению спецификаций охлаждающих модулей, подтолкнув их к решениям жидкостного охлаждения для соответствия строгим требованиям к охлаждению и стабильности серверов. Линь Юйшэнь подчеркнул, что Fanner начинала с технологии воздушного охлаждения и еще десять лет назад начала приобретать технологию жидкостного охлаждения через передачу технологий IBM. Они предоставили бэкдоры водяного охлаждения, которые позволили клиентам добавлять водяное охлаждение в шкафы без изменения существующей инфраструктуры центра обработки данных.

 

 

II К 2025 году наступит новая эра одновременного воздушного и жидкостного охлаждения

 

В связи с развитием полупроводниковых технологий, связанных с приложениями ИИ, внедрение GPT-3 в ChatGPT увеличило параметры алгоритма ИИ до 175 миллиардов, что потребовало стократного увеличения вычислительной мощности графического процессора. В отрасли в основном используется технология однофазного иммерсионного охлаждения в жидкостном охлаждении для решения проблем рассеивания тепла серверов или компонентов высокой плотности. Однако этот метод имеет предел в 600 Вт, в то время как потребности в охлаждении для ChatGPT или более продвинутых серверов превышают 700 Вт.

 

▲ Иллюстрация технологии однофазного иммерсионного охлаждения

 

С развитием IoT, периферийных вычислений и приложений 5G данные ИИ продвигают глобальную вычислительную мощность в фазу высокого роста. Следующее поколение конструкций охлаждающих модулей будет следовать двум основным направлениям: модернизация существующих охлаждающих модулей с помощью 3D-испарительных камер (3DVC) или внедрение систем жидкостного охлаждения, которые используют жидкость в качестве среды тепловой конвекции для повышения эффективности охлаждения. В результате количество испытаний жидкостного охлаждения значительно возросло в 2023 году. Однако 3DVC в конечном итоге является переходным решением, и ожидается, что к 2024-2025 начнется эра одновременного воздушного и жидкостного охлаждения.

 

По данным TrendForce, в 2022 году на серверы ИИ, оснащенные GPGPU (General Purpose GPU), приходилось около 1% от общего объема поставок. Однако, благодаря применению ChatGPT, ожидается, что поставки серверов ИИ вырастут на 38,4% в 2023 году, а совокупный годовой темп роста поставок серверов ИИ в период с 2022 по 2026 год достигнет 29%.

 

 

III «Жидкостное охлаждение» станет мейнстримом для чипов ИИ

 

Поскольку TDP нового поколения серверов приближается к пределам воздушного охлаждения, ведущие технологические компании начинают тестировать жидкостное охлаждение или увеличивать пространство для охлаждения. Например, Eagle Stream от Intel и Genoa от AMD достигли пределов воздушного охлаждения, сделав жидкостное охлаждение основным решением для чипов ИИ. NVIDIA H100 имеет TDP 700 Вт, а воздушное охлаждение с использованием 3DVC обычно требует более 4U пространства, что не подходит для архитектур развертывания высокой плотности.

 

▲ NVIDIA H100

 

Учитывая, что на системы охлаждения приходится около 33% от общего потребления энергии в центрах обработки данных, снижение общего потребления энергии и повышение эффективности использования энергии (PUE) подразумевает оптимизацию систем охлаждения, ИТ-оборудования и использование возобновляемой энергии. Поскольку теплоемкость воды в четыре раза больше, чем у воздуха, внедрение систем жидкостного охлаждения требует всего 1U пространства для пластины жидкостного охлаждения. Согласно тестам NVIDIA, для достижения той же вычислительной мощности жидкостное охлаждение может сократить количество требуемых шкафов на 66%, потребление энергии на 28% и PUE с 1,6 до 1,15, а также повысить производительность вычислений.

 

 

IV Использование охлаждающих модулей Fanner компанией Supermicro имеет решающее значение

 

Жидкостное охлаждение далее делится на «водяное охлаждение» и «масляное охлаждение», причем водяное охлаждение в настоящее время является наиболее широко используемым. Линь Юйшэнь отметил, что почти все серверы ИИ теперь используют решения водяного охлаждения. Например, NVIDIA GH100 с TDP, превышающим 700 Вт, должен использовать водяное охлаждение. Хотя водяное охлаждение в настоящее время составляет небольшую долю выручки Fanner, средняя цена продажи (ASP) серверов ИИ в десять раз выше, чем у традиционных серверов, что поможет преобразовать структуру продукции Fanner во второй половине года. Предполагается, что серверы ИИ могут составить 5-10% их бизнеса в 2023 году.

 

Линь Юйшэнь подчеркнул, что основная причина, по которой Supermicro использует модули водяного охлаждения от Fanner для серверов, оснащенных графическими процессорами NVIDIA GH100, заключается в том, что Fanner работает над решениями для жидкостного охлаждения уже более десяти лет. Хотя проблемы внедрения водяного охлаждения в основном связаны с расходами и предотвращением утечек, более чем десятилетние исследования Fanner постепенно преодолели эти проблемы с утечками. Долгосрочные инвестиции Fanner в модули водяного охлаждения позволили им извлечь выгоду из этой волны ИИ.

 

▲ Индивидуальное жидкостное охлаждение Supermicro

 

Линь Юйшэнь подчеркнул, что непрерывный рост TDP, вызванный высокоскоростными вычислениями, и растущие требования к охлаждению серверов ИИ довели традиционное охлаждение с помощью тепловых трубок до предела, что потребовало внедрения модулей водяного охлаждения. У Fanner уже есть несколько клиентов, включая Supermicro и Meta, которые внедрили их решения. Несмотря на более быстрое, чем ожидалось, внедрение водяного охлаждения, маловероятно, что оно будет полностью реализовано в 2023 году. Однако ожидается, что к 2024 году произойдет значительный прорыв, а в 2025 году ожидается взрывной рост.