Революция серверов с полным жидкостным охлаждением. Эффективные решения для охлаждения ЦП, памяти и PCIe.

 

В рамках 14-го пятилетнего плана Китая, в котором особое внимание уделяется развитию цифровой экономики, центры обработки данных служат основной инфраструктурой, поддерживающей цифровую трансформацию, но они также сталкиваются со значительным давлением выбросов углерода. С ростом энергопотребления чипов и серверов плотность мощности на стойку растет, и традиционное воздушное охлаждение постепенно становится ограниченным с точки зрения рассеивания тепла и оптимизации энергии.

 

▲ Центры обработки данных

 

Жидкостное охлаждение, как новая технология охлаждения, использует жидкий хладагент для отвода тепла, выделяемого компонентами. По сравнению с воздушным охлаждением жидкостное охлаждение предлагает несколько преимуществ, включая поддержку мощных чипов, увеличенный срок службы чипов, снижение PUE (эффективность использования энергии) центров обработки данных, улучшенную эффективность теплопередачи, минимизацию точек нагрева, поддержку более высокой плотности стоек, снижение шума и улучшенную адаптируемость к окружающей среде. Таким образом, жидкостное охлаждение станет важной частью будущего строительства центров обработки данных, решающей для достижения целей экологически чистых вычислений и углеродной нейтральности.

 

Узлы серверов с полным жидкостным охлаждением состоят из шасси узла, материнской платы, микросхем ЦП, модулей памяти, охлаждающих пластин памяти, охлаждающих пластин ЦП, охлаждающих пластин ввода-вывода, блоков питания и теплообменников блоков питания.

 

 

I Конструкция охлаждающей пластины ЦП

 

Модуль охлаждающей пластины ЦП разработан на основе требований к охлаждающей пластине процессора Intel 5-го поколения Xeon platform scalable. Он учитывает такие факторы, как рассеивание тепла, структурная производительность, выход годного, стоимость и совместимость с различными материалами в конструкции охлаждающей пластины, что приводит к оптимизированному эталонному дизайну. Охлаждающая пластина ЦП в основном состоит из алюминиевого кронштейна, охлаждающей пластины и разъемов охлаждающей пластины.

 

▲ Охлаждающая пластина ЦП

 

 

II Конструкция жидкостного охлаждения памяти

 

В конструкции жидкостного охлаждения памяти используется инновационный радиатор жидкостного охлаждения «рельсовая стяжка», названный так из-за сходства со шпалами на железнодорожных путях, когда слоты памяти полностью заняты. Эта конструкция сочетает традиционное воздушное охлаждение с охлаждением холодной пластиной. Радиатор, включающий тепловые трубки (или сделанные из чистого алюминия/меди, VaporChamber и т. д.), передает тепло от памяти на оба конца, которые затем контактируют с холодной пластиной через выбранные тепловые прокладки, позволяя жидкому охладителю в холодной пластине отводить тепло.

 

Память и радиатор могут быть собраны в минимально обслуживаемый блок (называемый модулем памяти) вне системы с помощью креплений. Охлаждающая пластина памяти разработана со структурой, обеспечивающей хороший контакт между радиатором и охлаждающей пластиной памяти. Эту структуру можно закрепить винтами или обслуживать без инструментов по мере необходимости. Верхняя часть охлаждающей пластины памяти охлаждает память, в то время как нижняя часть может охлаждать другие тепловыделяющие компоненты на материнской плате, такие как VR, максимально увеличивая использование охлаждающей пластины памяти. Для упрощения конструкции охлаждающей пластины можно ввести адаптерный кронштейн между памятью и материнской платой, чтобы соответствовать зазору по высоте различных материнских плат.

 

▲ Память Холодная Пластина

 

По сравнению с существующими на рынке решениями по жидкостному охлаждению на основе трубок, конструкция жидкостного охлаждения на основе «рельсовых шпал» имеет следующие преимущества:

 

Простота обслуживания:Во время обслуживания памяти модуль памяти обслуживается так же, как и модуль памяти с воздушным охлаждением, без необходимости снимать радиатор и крепежи. Это значительно повышает эффективность и надежность сборки, одновременно снижая потенциальный ущерб чипам памяти и термопрокладкам во время установки и снятия.

 

Хорошая совместимость: ТЭффективность охлаждения не зависит от толщины или расстояния между чипами памяти. Решение поддерживает минимальное расстояние между памятью 7,5 мм и совместимо с более ранними моделями. Разделенная конструкция радиатора и охлаждающей пластины позволяет повторно использовать и стандартизировать память с жидкостным охлаждением.

 

Более высокая рентабельность:Радиатор можно выбрать на основе энергопотребления памяти, а количество радиаторов можно настроить в соответствии с требованиями памяти. При расстоянии между модулями памяти 7,5 мм это решение может удовлетворить потребности в охлаждении модулей памяти с энергопотреблением более 30 Вт.

 

Простота изготовления и сборки:Между слотами памяти нет трубок жидкостного охлаждения, что устраняет необходимость в сложной сварке трубок и управлении процессом. Радиатор может быть изготовлен с использованием традиционных методов воздушного охлаждения и стандартных технологий изготовления охлаждающих пластин ЦП. Тепловые характеристики не чувствительны к допускам между радиатором и материнской платой в направлении, перпендикулярном плоскости чипа памяти, что упрощает сборку.

 

Высокая надежность:Конструкция жидкостного охлаждения "рельсовая стяжка" позволяет избежать потенциального повреждения микросхем памяти и термопрокладок во время сборки и отвечает требованиям для многократных вставок/удалений. Кроме того, она устраняет риск проблем с контактом сигнала между памятью и сокетами из-за несоосности, что значительно повышает надежность системы.

 

 

III SSD-конструкция жидкостного охлаждения

 

Инновационное решение жидкостного охлаждения SSD передает тепло из области SSD через радиатор со встроенными тепловыми трубками. Затем тепло передается на холодную пластину за пределами области SSD посредством прямого контакта с термопрокладками.

 

Это решение жидкостного охлаждения SSD в основном состоит из модуля SSD с радиатором, охлаждающей пластины SSD, механизма блокировки модуля SSD и кронштейна SSD. Механизм блокировки на кронштейне SSD обеспечивает надлежащую предварительную загрузку для поддержания надежного долгосрочного контакта между модулем SSD и охлаждающей пластиной. Для облегчения установки в ограниченном пространстве кронштейн SSD имеет конструкцию выдвижного типа в направлении глубины сервера.

 

▲ Конструкция жидкостного охлаждения SSD

 

По сравнению с существующими попытками жидкостного охлаждения SSD, данное решение имеет следующие преимущества:

• Поддерживает более 30 операций горячей замены/удаления без отключения питания.
• Отсутствует риск повреждения термоинтерфейсных материалов при установке SSD; механизм блокировки обеспечивает долговременную надежность контакта.
• Низкая сложность производства, требующая только традиционного воздушного охлаждения и производства охлаждающей пластины ЦП.
• Отсутствие каналов для прохождения воды между твердотельными накопителями позволяет нескольким твердотельным накопителям использовать одну охлаждающую пластину, что сокращает количество разъемов и снижает риск протечек.
• Гибкая адаптация к различной толщине SSD-накопителей и конфигурациям системы.

 

 

IV NPCIe/OCP Card Жидкостное охлаждение Дизайн

 

1. Решение для жидкостного охлаждения PCIe

Решение для жидкостного охлаждения карты PCIe основано на существующей карте PCIe с воздушным охлаждением. Оно обеспечивает охлаждение оптического модуля и основных чипов на карте PCIe за счет разработки охлаждающего модуля, который контактирует с холодной пластиной системы. Тепло от оптического модуля передается по тепловым трубкам на основной модуль радиатора на карте PCIe, который затем рассеивает тепло посредством контакта с холодной пластиной ввода-вывода с использованием соответствующих материалов теплового интерфейса.

 

Жидкостноохлаждаемая карта PCIe в основном состоит из зажима радиатора QSFP, модуля радиатора чипа PCIe и карты PCIe. Зажим QSFP должен обладать достаточной эластичностью, чтобы обеспечить надлежащий плавающий контакт во время установки, предотвращая повреждение оптического модуля и обеспечивая при этом хороший контакт для оптимальной производительности охлаждения.

 

▲ Жидкостное охлаждение PCIe

 

2. OCP 3.0 Жидкостное охлаждающее решение

Решение для жидкостного охлаждения карты OCP 3.0 похоже на карту PCIe. Оно настраивает радиатор жидкостного охлаждения для карты OCP 3.0, передавая тепло от основных чипов карты к радиатору жидкостного охлаждения. Затем тепло отводится посредством контакта между радиатором и охлаждающей пластиной ввода-вывода системы.

 

Модуль жидкостного охлаждения OCP 3.0 в основном состоит из модуля радиатора, платы OCP 3.0 и ее кронштейна. Из-за ограничений по пространству в механизме блокировки используются пружинные винты для обеспечения долгосрочной надежности контакта между модулем радиатора и холодной пластиной ввода-вывода.

 

▲ OCP 3.0 Жидкостное охлаждение

 

Учитывая необходимость простого обслуживания и многократной замены/удаления карты OCP 3.0 в горячем режиме, механизм блокировки и материалы термоинтерфейса были оптимизированы для повышения общей надежности и удобства обслуживания.

 

 3. Решение IO Cold Plate 

Охлаждающая пластина ввода-вывода представляет собой многофункциональную охлаждающую пластину, охлаждающую не только тепловыделяющие компоненты в зоне ввода-вывода материнской платы, но и платы PCIe и OCP 3.0 с жидкостным охлаждением.

 

▲ IO Холодная пластина

 

IO cold plate в основном состоит из корпуса из алюминиевого сплава и медных трубок для потока охлаждающей жидкости и улучшенного рассеивания тепла. Конструкция должна быть оптимизирована в соответствии с компоновкой материнской платы и требованиями к рассеиванию тепла. Модули карт PCIe и OCP 3.0 с жидкостным охлаждением контактируют с IO cold plate по обозначенным путям. Материалы охлаждающей жидкости должны быть совместимы с охлаждающей жидкостью трубопровода системы и смачивающими агентами.

 

▲ IO Холодная пластина

 

Это решение для жидкостного охлаждения для холодной пластины ввода-вывода удовлетворяет многомерным требованиям сборки нескольких компонентов, используя комбинацию медных и алюминиевых материалов для решения проблем совместимости. Оно обеспечивает эффективное рассеивание тепла, снижает вес холодной пластины на 60% и снижает затраты.

 

 

V-образная конструкция блока питания с холодной пластиной

 

Решение для жидкостного охлаждения блока питания объединяет внешний теплообменник «воздух-жидкость» с существующим блоком питания с воздушным охлаждением (БП), охлаждая воздух, выбрасываемый вентилятором БП, и снижая эффект предварительного нагрева внешней среды центра обработки данных.

 

Задний теплообменник PSU имеет многослойную структуру с перекрывающимися каналами потока и ребрами. Размеры теплообменника оптимизированы для пространственных и функциональных потребностей, не влияя на кабельные соединения PSU. Теплообменник независимо монтируется на шасси узла.

 

▲ Жидкостное охлаждение блока питания

 

Это инновационное решение для жидкостного охлаждения блока питания устраняет необходимость в разработке новых блоков питания с жидкостным охлаждением, сокращая время разработки и снижая затраты. Его высокая адаптивность позволяет гибко применять его к различным конструкциям блоков питания, экономя более 60% по сравнению с индивидуальными блоками питания с жидкостным охлаждением.

 

Для приложений с полной стойкой централизованный теплообменник типа «воздух-жидкость» может использоваться вместо распределенных задних теплообменников для каждого блока питания. Эта централизованная структура заменяет отдельные теплообменники блока питания, обеспечивая охлаждение через систему, которая интегрируется с воздушными путями стойки, гарантируя отсутствие воздействия на среду серверной комнаты.

 

Один централизованный теплообменник может обеспечить холодопроизводительность 8 кВт, поддерживая не менее 150Блоки питания. Основные компоненты централизованного теплообменника «воздух-жидкость» включают в себя сердечник теплообменника, порты впуска и выпуска воды, медные охлаждающие трубки, алюминиевый корпус и направляющие ребра потока. Такая установка обеспечивает эффективное и масштабируемое охлаждение блока питания в центрах обработки данных высокой плотности.

 

 

Заключение

 

▲ Полностью жидкостно охлаждаемый сервер

 

Технология жидкостного охлаждения, как показывают эти оптимизированные конструкции, является ключом к управлению растущей тепловой мощностью современных центров обработки данных, одновременно достигая целей эффективности и устойчивости. Благодаря инновациям в решениях для охлаждающих пластин для ЦП, памяти, твердотельных накопителей, карт PCIe/OCP и блоков питания, эти серверы с жидкостным охлаждением прокладывают путь к будущему более экологичных и высокопроизводительных центров обработки данных.