Жидкостное охлаждение — технология охлаждения следующего поколения для центров обработки данных и серверных кластеров

 

I Обзор отрасли жидкостного охлаждения

 

1. История развития жидкостного охлаждения

Что касается истории серверов с жидкостным охлаждением, компания IBM в 1967 году стала первой, кто разработал компьютер System360 с системой охлаждения холодной водой.

 

Хотя индустрия жидкостного охлаждения в Китае развилась относительно поздно, ее технологии быстро развиваются. В 2011 году компания Sugon стала пионером в отрасли жидкостного охлаждения в Китае. В течение следующих пяти лет китайские компании, такие как Huawei, Inspur и Sugon, начали выходить на рынок и наращивать производство. С 2019 года технология жидкостного охлаждения значительно продвинулась вперед у крупнейших производителей.

 

▲ История развития индустрии жидкостного охлаждения в стране и за рубежом

 

2. Отраслевая цепочка серверов с жидкостным охлаждением

Экосистема отрасли жидкостного охлаждения охватывает секторы добычи, переработки и переработки, включая поставщиков компонентов для верхнего уровня, поставщиков серверов с жидкостным охлаждением для среднего уровня и конечных пользователей вычислительных мощностей.

Upstream: в основном поставщики компонентов продукции и оборудования для жидкостного охлаждения, такие как быстроразъемные соединения, CDU, электромагнитные клапаны, резервуары погружного жидкостного охлаждения, коллекторы и охлаждающие жидкости.

 

Мидстрим:В первую очередь производители серверов и чипов с жидкостным охлаждением, а также интегрированных объектов, модулей и шкафов с жидкостным охлаждением.

 

Ниже по течению:Включает трех крупнейших операторов связи, интернет-компании, такие как Baidu, Alibaba, Tencent и JD, а также клиентов из информационной индустрии в сфере телекоммуникаций, Интернета, государственного управления, финансов, транспорта и энергетики.

 

▲ Объединение серверной отрасли с жидкостным охлаждением

 

 

II Основные понятия жидкостного охлаждения

 

1. Классификация технологий жидкостного охлаждения.

Жидкостное охлаждение использует жидкость в качестве охлаждающей жидкости, циркулируя по ней для передачи тепла от внутренних компонентов ИТ-оборудования в центрах обработки данных наружу, обеспечивая безопасную работу.

 

Преимущества жидкостного охлаждения:Он обеспечивает сверхвысокую эффективность и плотность тепла, эффективно рассеивает тепло и не зависит от высоты, географии или температуры.

 

В настоящее время существует три основных типа технологии жидкостного охлаждения: жидкостное охлаждение с холодной пластиной, распылительное охлаждение и погружное жидкостное охлаждение.

 

▲ Классификация технологий жидкостного охлаждения

 

2. Сравнение трех технологий жидкостного охлаждения – жидкостное охлаждение с холодной пластиной.

Холодная пластина жидкостного охлаждения использует закрытую полость, сделанную из теплопроводящих металлов (например, меди или алюминия) для косвенной передачи тепла от тепловыделяющих компонентов к жидкому хладагенту, циркулирующему в замкнутом контуре. Система обычно состоит из градирни, CDU, трубопроводов первичного и вторичного жидкостного охлаждения, охлаждающей жидкости и шкафов с жидкостным охлаждением. Шкафы с жидкостным охлаждением содержат такие компоненты, как охлаждающие пластины, внутренние трубопроводы, соединители для жидкости и коллекторы.

 

Жидкостное охлаждение с холодной пластиной, как метод бесконтактного жидкостного охлаждения, имеет более чем 10-летние исследования и является наиболее зрелой технологией среди трех основных решений жидкостного охлаждения. Это эффективное приложение для развертывания мощного оборудования, повышения энергоэффективности, снижения эксплуатационных расходов на охлаждение и снижения совокупной стоимости владения (TCO). Однако, поскольку он не обеспечивает 100% жидкостного охлаждения, он менее эффективен, когда энергопотребление шкафа низкое или доля жидкостного охлаждения минимальна. Кроме того, при проектировании охлаждающих пластин необходимо учитывать существующие схемы расположения компонентов, что усложняет структурное проектирование и реализацию, а также затрудняет продвижение стандартизации.

 

▲ Принципиальная схема системы жидкостного охлаждения с холодной пластиной

 

3. Сравнение трех технологий жидкостного охлаждения – погружное жидкостное охлаждение.

Иммерсионное жидкостное охлаждение предполагает полное погружение тепловыделяющих компонентов в охлаждающую жидкость, обеспечивая прямой контакт между компонентами и охлаждающей жидкостью для теплообмена. Наружные компоненты системы включают градирню, первичный трубопровод и первичный хладагент, а внутренние компоненты включают CDU, погружную камеру, ИТ-оборудование, вторичный трубопровод и вторичный хладагент. Поскольку ИТ-оборудование полностью погружено во вторичный хладагент, необходимо использовать непроводящие жидкости, такие как минеральное масло, силиконовое масло или фторированные жидкости.

 

В зависимости от того, происходит ли фазовый переход при теплообмене, погружное жидкостное охлаждение можно разделить на два типа:

 

1) Однофазное иммерсионное охлаждение:Вторичный теплоноситель претерпевает изменение температуры только во время теплопередачи, без фазового перехода, и тепло передается полностью за счет явного тепла.

2) Двухфазное иммерсионное охлаждение:Вторичный теплоноситель претерпевает фазовый переход во время теплопередачи, используя для передачи тепла скрытую теплоту.

 

По сравнению с традиционным воздушным охлаждением и жидкостным охлаждением с холодной пластиной, погружное жидкостное охлаждение предлагает такие преимущества, как экономия энергии (PUE < 1,13), компактность, высокая надежность и низкий уровень шума. Однако он также сталкивается с такими проблемами, как ограничения выбора компонентов, ограничения на техническое обслуживание и особые требования к окружающей среде в помещении.

 

▲ Двухфазное погружное охлаждение

 

4. Сравнение трех технологий жидкостного охлаждения – распылительное охлаждение.

Охлаждение распылением — это метод прямого контакта, при котором охлаждающая жидкость точно распыляется на компоненты уровня чипа под действием силы тяжести или давления системы, охлаждая тепловыделяющие компоненты или подключенные к ним теплопроводящие элементы. Система обычно состоит из градирни, CDU, трубопроводов первичного и вторичного жидкостного охлаждения, охлаждающей жидкости и шкафов с распылительным охлаждением. Шкафы с распылительным охлаждением обычно содержат систему трубопроводов, систему распределения жидкости, модули распыления и систему возврата.

 

Распылительное охлаждение также обеспечивает 100% жидкостное охлаждение, а его структура является более инновационной, чем иммерсионное охлаждение. Однако его энергосберегающие характеристики уступают иммерсионному жидкостному охлаждению, и оно имеет те же ограничения, что и иммерсионное охлаждение.

 

▲ Распылительное охлаждение

 

5. Сравнение трех технологий жидкостного охлаждения.

 

▲ Сравнение методов жидкостного охлаждения центров обработки данных

 

 

III Драйверы развития индустрии жидкостного охлаждения

 

1. Рост объемов данных стимулирует постоянное обновление вычислительных мощностей.

Глобальный объем данных и вычислительная мощность быстро растут. По данным IDC, глобальная сфера данных достигла 103,66 ЗБ в 2022 году, в то время как объем данных Китая вырастет с 23,88 ЗБ в 2022 году до 76,6 ЗБ в 2027 году, при этом среднегодовой темп роста составит 26,3%, что потенциально может считаться самым быстрым темпом роста в мире. IDC прогнозирует, что в течение следующих трех лет новые глобальные данные превысят общий объем данных, созданных за последние 30 лет, что приведет к экспоненциальному росту вычислительной мощности, необходимой для хранения, передачи и обработки данных.

 

Интеллектуальное обновление вычислительной мощности становится тенденцией, при этом интеллектуальные вычисления обеспечивают большую часть роста. Спрос на обработку больших объемов сложных данных вызывает потребность в более мощных и эффективных вычислительных ресурсах для поддержки разработки приложений искусственного интеллекта. В результате более быстрыми темпами строится вычислительная инфраструктура, становящаяся «фундаментом» поддержки развития цифровой экономики. Спрос на возможности передачи данных и вычислительную мощность усиливают друг друга. IDC прогнозирует, что интеллектуальная вычислительная мощность Китая будет продолжать быстро расти, достигнув 1117,4 EFLOPS к 2027 году, а среднегодовой темп роста составит 33,9% в период с 2022 по 2027 год.

 

▲ Масштаб и прогноз глобального объема данных

 

2. Скачок вперед AIGC приводит к резкому росту спроса на вычислительную мощность

С непрерывным развитием моделей и алгоритмов масштаб и сложность параметров значительно возросли, что привело к увеличению требований к вычислительной мощности. Появление крупных генеративных моделей, представленных ChatGPT и GPT-4, привело к быстрому развитию области AIGC, что привело к дальнейшему росту спроса на вычислительную мощность.

 

Сторона обучения: модель GPT-3 содержит около 174,6 миллиардов параметров, и ее однократное обучение требует примерно 3640 PF-дней (работа в течение 3640 дней при 10 петафлопс в секунду). Число параметров в GPT-4 может увеличиться до 1,8 триллиона, при этом потребность в обучении возрастет в 68 раз по сравнению с GPT-3, что потребует 90-100 дней обучения на 25 {{16} } Графические процессоры A100.

Сторона вывода: для GPT-3, по оценкам Tiani Think Tank, вычислительные затраты для генерации 500 токенов (около 350 слов) достигают 1,75 PFLOPS.

 

▲ Эволюция параметров большой модели (2018-2023)

3. Рынок центров обработки данных продолжает расширяться

В последние годы, в связи с быстрым развитием отраслевой цепочки искусственного интеллекта и приложений для обработки данных, в качестве важной части новой инфраструктуры строительство центров обработки данных в Китае ускорилось, а количество стоек центров обработки данных неуклонно увеличивалось. Если исходить из стандартной стойки мощностью 2,5 кВт, количество используемых стоек центров обработки данных в Китае в 2021 году достигло 5,2 миллиона. Среди них количество крупногабаритных стоек росло еще быстрее, достигнув 4,2 миллиона, что составляет 80%. К концу 2022 года общее количество стоек центров обработки данных в Китае приблизилось к 6 миллионам, что стало одним из крупнейших показателей в мире. Ожидается, что к 2023 году количество стоек для центров обработки данных в Китае достигнет 7,76 миллиона, а размер рынка центров обработки данных достигнет 247 миллиардов юаней.

 

▲ Прогнозируемая тенденция общего количества стоек центров обработки данных в Китае(2017-2023) (блок 10, 000 стойки)

 

4. Проблемы энергопотребления и рассеивания тепла в центрах обработки данных становятся все более актуальными.

С увеличением количества дата-центров резко возросло и потребление ими электроэнергии. Согласно соответствующей статистике, в 2021 году дата-центры Китая потребляли 216,6 млрд кВтч, а к 2030 году ожидается, что этот показатель превысит 380 млрд кВтч. В то же время быстро растущие масштабы дата-центров усугубляют проблемы рассеивания тепла:

 

Общий уровень:Традиционные центры обработки данных имеют огромные затраты на электроэнергию, при этом большая часть энергопотребления приходится на охлаждение. Центры обработки данных уже давно являются энергоемкими: потребление электроэнергии национальными центрами обработки данных составляет около 2%-3% от общего потребления электроэнергии. Ожидается, что к 2030 году потребление электроэнергии в центрах обработки данных превысит 380 миллиардов кВтч, а выбросы углекислого газа превысят 200 миллионов тонн. В то же время традиционные центры обработки данных несут значительные затраты на охлаждение. Согласно «Отчету Uptime Institute Global Data Center Survey 2022», среднегодовая эффективность использования энергии (PUE) в выборках глобальных центров обработки данных в 2022 году составила 1,55, а с 2014 года среднегодовая эффективность использования энергии (PUE) остается в пределах 1.{{12} }.65, что указывает на то, что потребление энергии, связанное с охлаждением, составляет 35%-39%.

 

Микроуровень:Увеличение плотности вычислений сталкивается с проблемами охлаждения. Улучшение вычислительной производительности приводит к увеличению энергопотребления серверов и тепловой плотности, а традиционное воздушное охлаждение больше не может удовлетворить потребности электронных устройств с высокой тепловой плотностью в отводе тепла. По мере того как закон Мура исчезает, люди постоянно улучшают коэффициент энергоэффективности чипов и систем с помощью таких технологий, как гетерогенные вычисления, но это также привело к быстрому увеличению энергопотребления отдельных чипов. В настоящее время энергопотребление основных процессорных чипов составляет около 200 Вт, при этом некоторые недавно выпущенные процессоры превышают 350 Вт, а гетерогенные ускорительные чипы, такие как GPGPU, даже превышают 700 Вт. В этом контексте традиционного воздушного охлаждения больше недостаточно для удовлетворения потребностей в охлаждении, а центры обработки данных и серверы требуют более эффективных технологий охлаждения для решения проблем рассеивания тепла, связанных с высокой мощностью, высокой тепловой плотностью и высокой плотностью вычислений. чипы и системы.

 

Микроуровень:Высокие температуры отрицательно влияют на электронные компоненты. В условиях высоких температур материалы машин, изоляция проводов и водонепроницаемые уплотнения более склонны к старению, что создает угрозу безопасности. Более половины отказов электронных компонентов вызваны высокими температурами. Когда температура полупроводниковых компонентов повышается на 10 градусов, обратный ток утечки удваивается, увеличивая риск возгорания и повышая вероятность нарушений безопасности, что потенциально может привести к параличу центра обработки данных.

 

5. Быстрый рост плотности мощности в одной стойке требует революции в охлаждении в центрах обработки данных

Ограниченное территорией строительства центров обработки данных и экологическими нормами, увеличение удельной мощности одной стойки стало ключевым решением, позволяющим совместить растущий спрос на вычислительную мощность с ограниченной мощностью центров обработки данных. Согласно данным, опубликованным Colocation America, в 2020 году средняя глобальная мощность центров обработки данных на одну стойку достигла 16,5 кВт, что на 175% больше, чем в 2008 году. По данным CCID Consulting, с быстрым увеличением вычислительной мощности центров обработки данных, высокая силовые одиночные стойки получат широкое распространение. Ожидается, что к 2025 году средняя мировая мощность центров обработки данных на одну стойку достигнет 25 кВт.

 

Технология жидкостного охлаждения с ее высокоэффективным эффектом охлаждения может значительно повысить эффективность и стабильность серверов, позволяя при этом разместить больше серверов в заданном пространстве центра обработки данных, тем самым повышая эффективность работы центра обработки данных.

 

▲ Соответствие между плотностью стойки и методами охлаждения

 

 

IV Обзор рынка жидкостного охлаждения и его применение

 

1. Ожидается, что к 2027 году рынок серверов с жидкостным охлаждением в Китае достигнет 8,9 миллиардов долларов.

Поскольку «зеленое» развитие центров обработки данных становится тенденцией, а конкуренция в области искусственного интеллекта усиливается, что приводит к скачку спроса на высокопроизводительные вычислительные мощности, рынок серверов с жидкостным охлаждением в Китае в последние годы демонстрирует взрывной рост.

 

По данным IDC, масштаб китайского рынка серверов с жидкостным охлаждением в 2022 году достиг $1,01 млрд, что соответствует годовому росту на 189,9%. Ожидается, что в 2023 году рынок продолжит быстрый рост, а его размер, по прогнозам, достигнет 1,51 миллиарда долларов. Ожидается, что к 2027 году размер китайского рынка серверов с жидкостным охлаждением достигнет 8,9 миллиардов долларов.

 

▲ Размер рынка и прогноз серверов с жидкостным охлаждением в Китае (единица измерения: 100 миллионов долларов США)

 

2. Структура отраслевого применения центров обработки данных с жидкостным охлаждением в Китае

В сочетании с воздушным охлаждением центры обработки данных с жидкостным охлаждением открывают возможности для развития различных отраслей промышленности. В будущем на рынке охлаждения центров обработки данных будет наблюдаться совместная модель развития «воздушное охлаждение + жидкостное охлаждение». Технология воздушного охлаждения не будет полностью заменена жидкостным охлаждением, а будет выбираться в соответствии с различными потребностями клиентов с использованием различных решений по охлаждению центров обработки данных.

 

В 2019 дата-центры с жидкостным охлаждением в основном использовались в приложениях, представленных суперкомпьютерами. Поскольку объемы бизнеса в сфере Интернета, финансов и телекоммуникаций быстро растут, спрос на жидкостное охлаждение в центрах обработки данных в этих отраслях будет продолжать расти. Ожидается, что к 2025 году центры обработки данных с жидкостным охлаждением будут занимать 24,0% интернет-индустрии, 25,0% финансовой отрасли и 23,0% телекоммуникационной отрасли. Между тем, в таких отраслях, как энергетика, биотехнологии, здравоохранение и правительство, будет наблюдаться ускорение интеграции центров обработки данных с жидкостным охлаждением в новую экосистему центров обработки данных общего назначения с небольшим снижением общего масштаба. Ожидается, что к 2025 году на центры обработки данных с жидкостным охлаждением будет приходиться 10,5% энергетической отрасли, 8,5% биотехнологической отрасли, 6,5% отрасли здравоохранения, а доля других предприятий, таких как государственный сектор, снизится до 2,5%.

 

▲ Структура и прогноз отраслевых приложений для центров обработки данных с жидкостным охлаждением в Китае (2019-2025)

 

3. Конкурентная среда на китайском рынке серверов с жидкостным охлаждением: лидирует Sugon, за ним следуют Huawei, Alibaba и другие.

Отечественные производители во главе с Sugon накопили значительный коммерческий опыт, и по доходам от продукции, доле рынка, отзывам клиентов и другим показателям Sugon является ключевым лидером рынка, за которым следуют Huawei, Alibaba и Lenovo. IBM China позиционируется как потенциальный соперник.

 

Индустрия серверов с жидкостным охлаждением в Китае имеет высокие технические барьеры, и первопроходцы имеют преимущество. В настоящее время основные отечественные производители все еще находятся на экспериментальной или начальной стадии применения технологии жидкостного охлаждения, и конкурентная среда еще четко не определена. Кроме того, из-за проблем с безопасностью данных существуют определенные географические барьеры для поставок инфраструктуры центров обработки данных в Китае, что затрудняет выход иностранных производителей на китайский рынок.

 

▲ Матрица конкурентоспособности поставщиков центров обработки данных с жидкостным охлаждением в Китае (2020 г.)

 

4.Операторы связиПредложитьТрехлетняя концепция жидкостного охлаждения в центрах обработки данных

Являясь лидерами отрасли в секторе центров обработки данных, три крупнейших оператора связи находятся в авангарде исследования и применения технологий жидкостного охлаждения. В июне 2023 года три крупнейших оператора совместно выпустили «Белую книгу по технологиям жидкостного охлаждения для операторов связи (2023 г.)» и наметили трехлетнюю концепцию и дорожную карту для приложений жидкостного охлаждения.

 

Общая цель трехлетнего видения — объединить усилия отрасли, решить проблемы, построить экосистему и расширить приложения путем объединения секторов добычи и переработки в промышленности, научных кругах и исследованиях. Основное внимание будет уделено атаке ключевых основных технологий с использованием оригинальности и лидерства, а также полному построению экосистемы жидкостного охлаждения высокого уровня. Цель состоит в том, чтобы создать открытую экосистему, способствовать разделению шкафов с жидкостным охлаждением и серверов, а также возглавить формирование унифицированных стандартов, которые снижают PUE (эффективность использования энергии) и одновременно достигают самой низкой совокупной стоимости владения (общей стоимости владения). Используя преимущества масштаба, они стремятся значительно расширить возможности применения.

 

Что касается сроков реализации, три основных оператора изложили подробные планы для 2023-2025.

 

• 2023:Провести техническую проверку, тщательно протестировать производительность жидкостного охлаждения, снизить PUE и подготовить технические возможности планирования, строительства и обслуживания;
• 2024: Проводить крупномасштабное тестирование, способствовать разделению шкафов с жидкостным охлаждением и серверов, поощрять конкуренцию, совершенствовать отраслевую экосистему и сокращать общие затраты в течение жизненного цикла;
• К 2025 году:Достичь широкомасштабного применения, при этом технология жидкостного охлаждения используется более чем в 50% проектов, и совместно способствовать формированию единой, стандартизированной, экономически оптимальной и широко применяемой экосистемы жидкостного охлаждения. Телекоммуникационная отрасль стремится стать лидером в области технологий жидкостного охлаждения, лидером в производственной цепочке и лидером в продвижении приложений.

 

▲ Трехлетнее видение развития жидкостного охлаждения операторами связи

 

 

V. Заключение

 

Большой потенциал развития в индустрии жидкостного охлаждения, а также проблемы и возможности

В настоящее время индустрия жидкостного охлаждения в Китае находится на ранней стадии развития, и уровень проникновения систем жидкостного охлаждения остается относительно низким. Однако, поскольку жидкостное охлаждение является технологией охлаждения следующего поколения для центров обработки данных и серверных кластеров, рыночный потенциал и будущие перспективы жидкостного охлаждения привлекли значительное внимание, и ожидается, что проникновение приложений будет быстро расти.

 

Тем не менее, индустрия жидкостного охлаждения в Китае по-прежнему сталкивается с рядом проблем развития:

 

1. Неразвитая отраслевая экосистема

Хотя технология жидкостного охлаждения развивается уже более десяти лет как внутри страны, так и за рубежом, экосистема остается неполной. Продукты сильно различаются, а стандартизация отсутствует. В настоящее время в отрасли не существует единого стандарта интерфейса для серверов и шкафов. Шкафы и серверы тесно связаны, а форматы продуктов разных производителей, таких как серверы, охлаждающие жидкости, холодильные трубопроводы и системы электропитания, различаются, что делает интерфейсы продуктов несовместимыми друг с другом. Это ограничивает конкуренцию и препятствует качественному развитию отрасли.

 

2. Развитие архитектуры системы жидкостного охлаждения

Архитектуры систем жидкостного охлаждения в отрасли различаются: распределенные и централизованные системы охлаждения и электропитания различаются. Серверы некоторых производителей превратились в высокотемпературные серверы, которые позволяют сократить количество водоохладителей, еще больше упрощая архитектуру источника охлаждения и способствуя снижению затрат и повышению эффективности.

 

3. Высокая стоимость систем жидкостного охлаждения.

По сравнению с традиционными продуктами воздушного охлаждения жидкостное охлаждение по-прежнему представляет собой проблему с точки зрения высоких первоначальных инвестиций и общих затрат в течение жизненного цикла. Эта проблема может повлиять на широкомасштабное внедрение и продвижение продуктов жидкостного охлаждения на ранних этапах.