Технология жидкостного охлаждения: решение проблем охлаждения центров обработки данных в эпоху AIGC

Aug 28, 2024

Оставить сообщение

 

С быстрым развитием контента, генерируемого искусственным интеллектом (AIGC), спрос на вычислительную мощность резко возрос, что привело к резкому увеличению потребления энергии и потребностей в управлении температурой в центрах обработки данных. Высокие требования к вычислительным ресурсам во время обучения и вывода моделей ИИ значительно увеличивают тепловыделение сервера, поднимая планку для технологий охлаждения. Согласно отчету Colocation America, средняя мощность на шкаф в глобальных центрах обработки данных увеличилась до 16,5 кВт к 2020 году, что на 175% больше, чем в 2008 году. В результате технология жидкостного охлаждения стала новым фокусом для решений по охлаждению центров обработки данных.

 

На конференции GTC этого года NVIDIA не только продемонстрировала чипы B200 и GB200, но и подчеркнула сопутствующую технологию жидкостного охлаждения. Кроме того, на экономическом саммите SIEPR 2024 генеральный директор NVIDIA Дженсен Хуанг сообщил, что серверы DGX GPU следующего поколения будут полностью использовать жидкостное охлаждение. Решение NVIDIA задало тренд в отрасли, придав новый импульс развитию технологии жидкостного охлаждения. По мере того, как технология ИИ продолжает развиваться, важность жидкостного охлаждения становится все более очевидной. Технология жидкостного охлаждения не только значительно снижает энергопотребление центров обработки данных, но и повышает эффективность работы серверов и продлевает срок службы оборудования. Таким образом, жидкостное охлаждение постепенно становится приоритетным фактором для решений по охлаждению центров обработки данных.

 

 

I Сравнение методов охлаждения центров обработки данных

 

В настоящее время системы охлаждения центров обработки данных в основном делятся на два типа: воздушное охлаждение и жидкостное охлаждение. Технология жидкостного охлаждения заменяет воздух жидкой средой для теплообмена с тепловыделяющими компонентами сервера, тем самым отводя тепло и обеспечивая стабильную работу сервера в оптимальном температурном диапазоне. Напротив, воздушное охлаждение использует вентиляторы и системы кондиционирования воздуха для рассеивания тепла посредством движения воздуха. Жидкостное охлаждение напрямую охлаждает тепловыделяющие компоненты, достигая эффективности теплопроводности в 25 раз выше, чем у воздуха, с удельной теплоемкостью в 1,000 до 3500 раз выше и эффективностью конвективного теплообмена в 10-40 раз выше, чем у воздуха. Таким образом, при тех же условиях технология жидкостного охлаждения намного превосходит воздушное охлаждение по эффективности охлаждения.

 

Data center cooling systems

▲ Системы охлаждения центров обработки данных

 

Liquid cooling technology & Air cooling 

▲ Технология жидкостного охлаждения и воздушное охлаждение

 

По сравнению с воздушным охлаждением, жидкостное охлаждение обеспечивает более высокую эффективность охлаждения и более низкое потребление энергии. В высокоплотных вычислительных средах системы воздушного охлаждения часто испытывают трудности с удовлетворением потребностей в охлаждении, тогда как жидкостное охлаждение может эффективно решать эту проблему. Кроме того, жидкостное охлаждение предлагает такие преимущества, как низкий уровень шума и меньшая занимаемая площадь, что делает его хорошо подходящим для конфигураций высокой плотности и экологически чистых энергосберегающих требований современных центров обработки данных.

 

 

II Что движет развитием жидкостного охлаждения в эпоху ИИ?

 

1. Рост тепловой мощности вычислительных чипов: воздушное охлаждение достигает своего предела

С быстрым развитием технологий ИИ спрос на вычислительную мощность продолжает расти, что приводит к увеличению тепловыделения и плотности теплового потока в чипах. Когда чипы работают при высоких температурах в течение длительного времени, их производительность и срок службы ухудшаются, а частота отказов увеличивается. Исследования показывают, что когда рабочая температура чипа приближается к 70-80 градусам, каждое повышение на 10 градусов может снизить его производительность примерно на 50%.

 

В настоящее время процессоры Intel имеют расчетную тепловую мощность (TDP) до 350 Вт, H100 от NVIDIA достигает 700 Вт, а будущий B100 может достичь 1,000 Вт, приближаясь к пределу охлаждения одной точки воздушного охлаждения в 800 Вт. Поскольку энергопотребление вычислительного чипа продолжает расти, а энергопотребление ЦП и ГП составляет около 80% от общей мощности сервера ИИ, дальнейшее использование воздушного охлаждения приведет к значительному увеличению потребностей в кондиционировании воздуха в ряду. В сценариях охлаждения высокой плотности жидкостное охлаждение обеспечивает значительные преимущества по стоимости и производительности.

 

Помимо чипов, плотность мощности на шкаф в центрах обработки данных также растет. Традиционное воздушное охлаждение обычно удовлетворяет потребности в охлаждении шкафов в диапазоне от 12 кВт до 15 кВт. СогласноОтчет о глобальном исследовании центров обработки данных за 2022 годПо данным Uptime Institute, максимальная мощность одного сервера NVIDIA DGX A100 составляет 6,5 кВт, а стандартный шкаф высотой 42U может вместить около пяти серверов AI высотой 5U, при этом общая мощность на шкаф превышает 20 кВт. Традиционное воздушное охлаждение не может удовлетворить потребности в охлаждении шкафов серверов AI.

 

2. Обусловлено потребностями энергосбережения в центрах обработки данных: более высокие требования к PUE

PUE (эффективность использования мощности) — ключевой показатель для оценки энергоэффективности центра обработки данных, рассчитываемый как: PUE=Общее энергопотребление центра обработки данных / Потребление энергии ИТ-оборудованием. Чем ближе значение PUE к 1, тем выше энергоэффективность центра обработки данных; и наоборот, чем выше значение PUE, тем ниже общая эффективность.

 

Статистика делит энергопотребление ЦОД на несколько частей: ИТ-оборудование составляет 45%, системы охлаждения — 43%, системы электроснабжения и распределения — 10%, освещение и другие виды использования — 2%. Среди них энергопотребление систем кондиционирования воздуха уступает только ИТ-оборудованию, поэтому снижение энергопотребления систем кондиционирования воздуха становится особенно важным, когда ИТ-системы не могут быть модернизированы.

 

В контексте национальных целей достижения «углеродного пика» и «углеродной нейтральности» и стратегии «Восточные данные, западные вычисления» недавно выпущенныйСтандарты государственных закупок для экологически чистых центров обработки данных (пробная версия)предъявляет более строгие требования PUE.Этот стандарт предусматривает, что с июня 2023 года PUE центра обработки данных не должен превышать 1,4, а к 2025 году требованием будет PUE не более 1,3. Согласно данным CDCC и Inspur Information, центры обработки данных, использующие воздушное охлаждение, обычно имеют PUE от 1,4 до 1,5, в то время как технология жидкостного охлаждения может снизить PUE до уровня ниже 1,2. Таким образом, принятие более энергоэффективной и эффективной технологии жидкостного охлаждения стало тенденцией.

 

Потребление энергии в центрах обработки данных уже давно находится в центре внимания отрасли, особенно на фоне глобальных ограничений энергетических ресурсов и возросшей экологической осведомленности. Повышение энергоэффективности центров обработки данных имеет особое значение. Технология жидкостного охлаждения, предоставляя более эффективные решения для охлаждения, снижает энергопотребление системы кондиционирования воздуха, тем самым значительно снижая значения PUE центров обработки данных. Эта технология не только помогает снизить эксплуатационные расходы, но и снижает выбросы углерода, что соответствует целям устойчивого развития.

 

 

Data Center Energy Consumption

▲ Потребление энергии в центре обработки данных

 

 

III Классификация технологий жидкостного охлаждения

 

Системы жидкостного охлаждения можно разделить на прямое жидкостное охлаждение и косвенное жидкостное охлаждение в зависимости от того, как жидкость взаимодействует с оборудованием. Прямое жидкостное охлаждение подразумевает, что жидкость напрямую контактирует с компонентами оборудования для передачи тепла. Этот метод можно далее разделить на иммерсионное охлаждение и распылительное охлаждение. Иммерсионное охлаждение полностью погружает компоненты оборудования в жидкость, в то время как распылительное охлаждение подразумевает распыление жидкости непосредственно на оборудование.

 

С другой стороны, непрямое жидкостное охлаждение использует промежуточный компонент (такой как теплообменник или охлаждающая пластина) для отвода тепла, предотвращая прямой контакт жидкости с оборудованием. Распространенной непрямой жидкостной системой охлаждения является система жидкостного охлаждения с холодной пластиной, которую можно разделить на однофазное и двухфазное охлаждение с холодной пластиной в зависимости от того, претерпевает ли охлаждающая среда фазовый переход.

 

Introduction to Liquid Cooling Methods

▲ Введение в методы жидкостного охлаждения

 

1. От охлаждающих пластин к иммерсионным охлаждающим пластинам

Технология жидкостного охлаждения передает тепло от теплогенерирующих компонентов к охлаждающей жидкости через холодные пластины, а охлаждающая жидкость затем рассеивает тепло за счет своих охлаждающих свойств. В этой системе рабочая жидкость не контактирует напрямую с электронными компонентами, что приводит к минимальным изменениям в компьютерной системе. Оригинальный радиатор воздушного охлаждения можно просто заменить комплектом жидкостного охлаждения, а трубы охлаждающей жидкости можно проложить снаружи корпуса. Эта технология особенно подходит для охлаждения со средней и высокой плотностью теплового потока.

 

Система жидкостного охлаждения с холодной пластиной в основном состоит из градирни, блока распределения охлаждающей жидкости (CDU), первичного и вторичного контуров жидкостного охлаждения, охлаждающей среды и шкафа с жидкостным охлаждением. Первичный контур относится к контуру, который отводит тепло от вторичного контура во внешнюю среду или другие блоки рекуперации тепла, в то время как вторичный контур относится к контуру, который отводит тепло от серверов и рассеивает его через первичный контур. Два контура обмениваются теплом через CDU или блок распределения охлаждающей жидкости.

 

Принцип работы системы охлаждения холодными пластинами жидкости относительно прост, но в практических приложениях необходимо учитывать конструкцию холодных пластин, выбор охлаждающих жидкостей и обслуживание системы. Кроме того, системы охлаждения холодными пластинами жидкости работают исключительно хорошо в средах с высокой плотностью теплового потока, что делает их весьма подходящими для требований к компоновке с высокой плотностью современных центров обработки данных.

 

Schematic Diagram of the Cold Plate Liquid Cooling System

▲ Принципиальная схема системы жидкостного охлаждения Cold Plate

 

Системы иммерсионного жидкостного охлаждения обеспечивают эффективное рассеивание тепла путем непосредственного погружения теплогенерирующих компонентов в непроводящие охлаждающие жидкости. В зависимости от того, претерпевает ли охлаждающая жидкость фазовый переход во время циркуляции, иммерсионное жидкостное охлаждение можно разделить на однофазное иммерсионное охлаждение и двухфазное иммерсионное охлаждение.

 

При однофазном иммерсионном охлаждении охлаждающая жидкость претерпевает только изменение температуры в процессе теплообмена без изменения фазы. Передача тепла полностью зависит от явного изменения тепла жидкости, используя свойство жидкости расширяться и уменьшаться в плотности при нагревании. Более теплая охлаждающая жидкость естественным образом поднимается и охлаждается теплообменником внешнего контура охлаждения. Затем охлажденная жидкость опускается под действием силы тяжести, завершая цикл охлаждения. При этом методе охлаждающая жидкость остается в жидком состоянии на протяжении всего процесса. Напротив, двухфазное иммерсионное охлаждение подразумевает, что охлаждающая жидкость претерпевает фазовый переход из жидкого состояния в газообразное во время рассеивания тепла, а затем возвращается из газообразного в жидкое.

 

Система охлаждения с использованием иммерсионной жидкости включает как внутренние, так и наружные компоненты. Наружная сторона включает градирню, первичную сеть трубопроводов и первичную охлаждающую жидкость; внутренняя сторона включает блок распределения охлаждающей жидкости (CDU), иммерсионный бак (шкаф), ИТ-оборудование, вторичную сеть трубопроводов и вторичную охлаждающую жидкость. Во время использования ИТ-оборудование полностью погружено в охлаждающую жидкость, поэтому при выборе охлаждающей жидкости необходимо учитывать непроводящие жидкости, такие как силиконовое масло или фторированные жидкости.

 

 Schematic Diagram of Single-Phase lmmersion Liquid Cooling

▲ Принципиальная схема однофазного иммерсионного жидкостного охлаждения

 

Хотя распылительное охлаждение существует, его применение относительно ограничено и не подходит для серверов высокой плотности и крупномасштабных центров обработки данных. В краткосрочной перспективе жидкостное охлаждение с помощью холодных пластин отлично подходит для нужд охлаждения эпохи ИИ и перехода центров обработки данных с воздушного охлаждения на жидкостное охлаждение благодаря своей зрелости, совместимости с существующими системами, простоте обслуживания и низким затратам на модернизацию. В долгосрочной перспективе жидкостное охлаждение с его превосходной теплопроводностью, эффективной возможностью рекуперации отработанного тепла и поддержкой более высокой мощности шкафа будет более подходящим для развивающихся потребностей в охлаждении будущих центров обработки данных. Особенно по мере того, как мощность шкафов продолжает расти, жидкостное охлаждение с помощью погружения может обеспечить более эффективные решения для охлаждения, помогая снизить общую эффективность использования энергии (PUE) центров обработки данных.

 

2. Предпочтительный выбор для интеллектуальных вычислительных центров — жидкостное охлаждение

По мере увеличения плотности мощности решения с жидкостным охлаждением становятся выбором для большего количества вновь построенных вычислительных центров GPU. Согласно отчету IDC "China Semiannual Liquid-Cooled Server Market (H1 2023) Tracker", китайский рынок серверов с жидкостным охлаждением достиг $1,51 млрд в 2023 году. IDC прогнозирует, что с 2022 по 2027 год совокупный годовой темп роста китайского рынка серверов с жидкостным охлаждением достигнет 54,7%, а ожидаемый размер рынка к 2027 году достигнет $8,9 млрд.

 

Применение технологии жидкостного охлаждения в интеллектуальных вычислительных центрах не только повышает производительность вычислений, но и значительно снижает потребление энергии и эксплуатационные расходы. Продвижение технологии жидкостного охлаждения будет подталкивать центры обработки данных к более эффективному, экологичному и интеллектуальному развитию, обеспечивая прочную основу для удовлетворения потребностей в обработке данных в эпоху ИИ.

 

 Liquid Cooling Server Market Size

▲ Объем рынка серверов с жидкостным охлаждением

 

IV Цепочка отрасли жидкостного охлаждения

 

Цепочка индустрии жидкостного охлаждения охватывает три основных сегмента: поставщики компонентов для продуктов верхнего уровня, производители серверов с жидкостным охлаждением среднего уровня и пользователи вычислительной мощности нижнего уровня. Среди текущих пользователей нижнего уровня внутренние компании, такие как Alibaba, сосредоточены на разработке однофазного иммерсионного жидкостного охлаждения, в то время как другие, такие как Baidu, Tencent и JD.com, в основном используют жидкостное охлаждение с помощью холодных пластин. За рубежом иммерсионное охлаждение более продвинуто, чем охлаждение с помощью холодных пластин, при этом ведущие американские компании, такие как Intel, Google и Meta, стимулируют быстрое развитие иммерсионного жидкостного охлаждения, особенно с поддержкой ИИ.

 

 Liquid Cooling lndustry Chain

▲ Цепочка производителей систем жидкостного охлаждения

 

 

V. Потенциальные проблемы с технологией иммерсионного жидкостного охлаждения

 

1. Выбор охлаждающей жидкости

Охлаждающая жидкость является одним из ключевых сырьевых материалов в технологии жидкостного охлаждения и представляет собой высокий технический барьер. В технологии иммерсионного жидкостного охлаждения охлаждающая жидкость должна напрямую контактировать с электронными изделиями, что предъявляет высокие требования к ее производительности, например, к отличной теплопроводности, хорошей изоляции и совместимости материалов. Кроме того, важны также экологические характеристики, такие как запах, токсичность и легкость разложения, а охлаждающая жидкость должна быть максимально удобной для пользователя и экологически чистой.

 

Наиболее часто используемые иммерсионные охлаждающие жидкости в настоящее время включают углеводороды и органосиликоны (обычно называемые «маслами», например, минеральное масло) и фторированные соединения (например, фторированные жидкости). Фторированные жидкости обладают хорошими общими характеристиками и считаются идеальными жидкостными охлаждающими материалами. Однако основной проблемой фторированных жидкостей является их высокая стоимость. В связи со все более строгими требованиями по защите окружающей среды силиконовое масло, которое имеет более высокую теплопроводность и более низкую плотность, также является более экологически чистым. Выбор охлаждающей среды в основном зависит от процесса охлаждения.

 

2. Проблемы с герметизацией оптического пути

Такие охлаждающие жидкости, как фторированные жидкости или силиконовые масла, обладают превосходными изолирующими свойствами, эффективно предотвращая короткие замыкания в цепях. В условиях низкочастотных сигналов эти охлаждающие жидкости оказывают минимальное влияние на передачу сигнала. Однако в условиях высокочастотных сигналов воздействие охлаждающей жидкости на передачу сигнала требует тщательной оценки и контроля. В целом воздействие на цепи управляемо.

 

Что касается оптических путей, большинство оптических модулей в центрах обработки данных спроектированы с негерметичной упаковкой, что означает, что без соответствующих модификаций охлаждающая жидкость может попасть в оптический резонатор, что повлияет на оптические характеристики. Даже при герметичной упаковке некоторые пассивные оптические пути, такие как линзы, остаются за пределами герметичной камеры.

 

Конструкция оптических путей обычно основана на показателе преломления воздуха (приблизительно 1.0). Когда оптические компоненты погружены в охлаждающую жидкость, показатель преломления охлаждающей жидкости, который отличается от воздуха, может вызвать изменения в фокусных точках и эффективности сопряжения. Например, показатель преломления фторированного масла обычно составляет около 1,3, и это изменение показателя преломления может потребовать корректировки параметров конструкции оптического пути.

 

Для устранения потенциального влияния иммерсионного жидкостного охлаждения на оптические и электрические пути отрасль принимает различные меры, такие как разработка новых технологий упаковки оптических модулей, адаптированных к среде охлаждающей жидкости, оптимизация конструкции схем для высокочастотных сигналов и исследование оптических материалов и структур, более подходящих для иммерсионного охлаждения.

 

3. Интегрированная доставка против разрозненной доставки

В настоящее время существует три модели поставки серверов с жидкостным охлаждением Cold Plate:

① Со стороны ИТ-оборудования поставляется только сервер с жидкостным охлаждением;

② ИТ-отдел поставляет «сервер с жидкостным охлаждением + шкаф с жидкостным охлаждением»;

③ ИТ-сторона поставляет «сервер с жидкостным охлаждением + шкаф с жидкостным охлаждением + CDU + вторичный контур».

 

Третья модель поставки, интегрированная поставка, когда весь шкаф поставляется одним производителем с самостоятельно определенным стандартом для интегрированного проектирования и разработки, является наиболее широко используемой. Разделенная поставка подразумевает следование пользовательским спецификациям проектирования интерфейса между шкафом с жидкостным охлаждением и сервером с жидкостным охлаждением, при этом шкаф и сервер поставляются разными производителями. Производители инфраструктуры и серверов должны координировать и сотрудничать. Разделенная поставка легче масштабируется и гибко развертывается.

 

 Cold Plate Liquid-Cooled Server Delivery Mode Differentiation

▲ Дифференциация режимов доставки серверов с жидкостным охлаждением Cold Plate

 

В настоящее время уровень стандартизации в области технологии жидкостного охлаждения в Китае относительно низок. Различное серверное оборудование, охлаждающие жидкости, трубопроводы охлаждения и продукты электропитания различаются по форме, и нет единого стандарта интерфейса, что создает проблемы для стандартизации и широкомасштабного применения. Белые книги, опубликованные тремя основными отечественными операторами связи, описывают трехлетнее видение технологии жидкостного охлаждения, постепенно проверяя и тестируя технологию, с планами начать широкомасштабное применение жидкостного охлаждения к 2025 году. Ожидается, что более 50% проектов по обработке данных примут эту технологию, способствуя стандартизации и широкомасштабному внедрению жидкостного охлаждения и поддерживая разделенную доставку.

 

 

 

Отправить запрос