Разработка и обсуждение технологии проектирования центров обработки данных с жидкостным охлаждением

 

Поскольку удельная теплоемкость жидкости на единицу объема примерно в 1,000 раз больше, чем у воздуха, жидкостное охлаждение (рассеивание тепла) имеет гораздо большую охлаждающую способность, чем обычное воздушное охлаждение. Это эффективное решение для рассеивания тепла, выделяемого сверхвысокими плотностями теплового потока. В 1964 году для решения проблемы перегрева и простоя больших мэйнфреймов компания IBM разработала первый в мире охлаждаемый компьютер с водяным охлаждением — System360, новаторский компьютер с жидкостным охлаждением. В последнее время, благодаря национальной и местной политике управления энергоэффективностью, технология жидкостного охлаждения снова привлекла широкое внимание в индустрии центров обработки данных, что привело к разработке ряда инженерных технологий для центров обработки данных с жидкостным охлаждением.

 

 

I Методы реализации жидкостного охлаждения

 

В широком смысле жидкостное охлаждение относится ко всем технологиям, связанным с жидкостным охлаждением. В отрасли известны такие методы, как установка змеевиков холодной воды на задних панелях стоек, которые считаются жидкостным охлаждением и подпадают под широкую концепцию жидкостного охлаждения. Китайский институт электроники (CIE) во время разработки серии стандартов проектирования центров обработки данных с жидкостным охлаждением разъяснил концепцию жидкостного охлаждения в ходе отраслевых дискуссий. Согласно их определению, жидкостное охлаждение относится к прямому отводу тепла, выделяемого электронными чипами, с помощью жидкостей, поэтому узкое определение жидкостного охлаждения относится только к процессу охлаждения внутри сервера.

 

С точки зрения узкого определения жидкостного охлаждения его можно разделить на две основные категории: прямой контакт охлаждающей жидкости с электронным чипом или косвенный контакт через твердый материал с высокой теплопроводностью. Затем их можно дополнительно подразделить в зависимости от формы контакта, типа охлаждающей жидкости и того, подвергается ли охлаждающая жидкость фазовому изменению. Обычно считается, что методы жидкостного охлаждения делятся на восемь категорий (см. Таблицу 1).

 

▲ Таблица 1. Классификация реализации жидкостного охлаждения

 

 

II Спрос на жидкостное охлаждение в сценариях центров обработки данных

 

Как и обычные системы с воздушным охлаждением, обычно используемые в центрах обработки данных, роль жидкостного охлаждения заключается в отводе тепла, выделяемого ИТ-оборудованием, таким как серверы и другое оборудование объекта (например, аккумуляторы ИБП), для поддержания относительно стабильной среды с соответствующей температурой и влажностью. в дата-центре.

 

Во-первых, необходимость рассеивания тепла является основной движущей силой развития технологии жидкостного охлаждения. Поскольку спрос на возможности обработки данных быстро растет, интеграция электронных чипов, вероятно, продолжит расти в геометрической прогрессии в будущем. Это приведет к увеличению удельной мощности и плотности теплового потока. Потребность в более высоких скоростях передачи данных и повышенном удобстве для пользователей будет способствовать более тесной интеграции оборудования, что, в свою очередь, приведет к увеличению требований к рассеиванию тепла для ИТ-оборудования, такого как серверы. Это также повысит экологические требования к эксплуатации. В результате для воздушного охлаждения потребуются более высокоскоростные вентиляторы большего диаметра и более крупные каналы рассеивания тепла, что приведет к значительному шуму, большему тепловому воздействию на окружающую среду и увеличению затрат на строительство и эксплуатацию. Жидкостное охлаждение обеспечивает лучшее соотношение цены и качества.

 

Во-вторых, политика управления энергоэффективностью стимулирует внедрение технологии жидкостного охлаждения. Еще одна важная причина, по которой индустрия центров обработки данных уделяет особое внимание жидкостному охлаждению, связана с национальной и местной политикой управления энергоэффективностью. Национальные и местные требования к эффективности использования энергии (PUE) в центрах обработки данных становятся все более строгими, в результате чего жидкостное охлаждение оказывается в центре внимания индустрии центров обработки данных. Последний национальный стандарт «Предельные значения и классы энергоэффективности центров обработки данных» (GB 40879-2021) требует, чтобы энергопотребление было ниже 1,3, чего в большинстве частей страны трудно достичь, используя только воздушное охлаждение, что требует использование технологии жидкостного охлаждения.

 

В-третьих, удобство рекуперации отходящего тепла может способствовать внедрению жидкостного охлаждения в центрах обработки данных. Центры обработки данных, построенные с использованием решений жидкостного охлаждения, имеют относительно более высокое качество отходящего тепла и его легче утилизировать. Проекты по рекуперации отходящего тепла в центрах обработки данных с жидкостным охлаждением являются эффективным способом комплексного использования энергии и повышения энергоэффективности. Некоторые ученые уже предложили идею строительства крупных дата-центров в качестве источников тепла для городов или индустриальных парков.

 

 

III Разработка технологии проектирования центров обработки данных с жидкостным охлаждением

 

Процесс отвода тепла, выделяемого электронными чипами, посредством жидкостного охлаждения — это только начало процесса охлаждения в центре обработки данных. Непрерывное выделение тепла электронными чипами требует устойчивой, стабильной и надежной работы инженерных технологий центров обработки данных с жидкостным охлаждением для поддержания охлаждения чипов.

 

Принципы и практика жидкостного охлаждения отличаются от воздушного охлаждения. В частности, концепции рассеивания тепла и охлаждения имеют тонкие различия: начиная с температуры выше комнатной или ниже комнатной. Чтобы лучше организовать структуру инженерных технологий центров обработки данных с жидкостным охлаждением, электронные чипы рассматриваются как источник с целью передачи тепла, выделяемого чипами, за пределы центра обработки данных, обеспечивая стабильную работу ИТ-оборудования. Таким образом, технология проектирования центров обработки данных с жидкостным охлаждением делится на процессы первичного и вторичного охлаждения. Эта концепция отличается от первичной и вторичной сторон обычного воздушного охлаждения центров обработки данных.

 

Процесс первичного охлаждения, применяемый в центрах обработки данных с жидкостным охлаждением, охлаждает компоненты электронного ИТ-оборудования с высокой плотностью теплового потока и передает генерируемое тепло за пределы стойки. Его также называют первичным охлаждением (отводом тепла), начальным охлаждением, внутренним охлаждением или внутренним циркуляционным охлаждением. Процесс первичного охлаждения представляет собой строго процесс жидкостного охлаждения и обычно включает в себя замкнутый контур оборудования или компонентов жидкостного охлаждения на стороне чипа, блок распределения охлаждения (CDU), распределители охлаждающей жидкости и трубопроводы. Распределительная установка охлаждения (РУХ) содержит насосы и теплообменники, обеспечивающие силу циркуляции охлаждающей жидкости. Типичный процесс первичного охлаждения включает циркуляцию охлаждающей жидкости определенной температуры и потока от CDU к оборудованию или компонентам жидкостного охлаждения на стороне чипа. Охлаждающая жидкость обменивается теплом со стружкой посредством прямого или косвенного контакта через материалы с высокой теплопроводностью, такие как металлы. Нагретый высокотемпературный теплоноситель или пары охлаждающей жидкости затем по трубопроводам возвращаются в ЭБУ, где обмениваются теплом с вторичным теплоносителем. После охлаждения низкотемпературная охлаждающая жидкость подается обратно в оборудование жидкостного охлаждения или компоненты на стороне чипа с помощью CDU, завершая полный цикл. Обычные охлаждающие жидкости, используемые в процессе первичного охлаждения, включают растворы этиленгликоля, растворы пропиленгликоля, деионизированную воду и т. д., а в некоторых решениях используются фторированные жидкости, хотя физические требования к охлаждающим жидкостям значительно различаются в разных жидкостных охлаждающих жидкостях.

 

Распределительный блок охлаждения (CDU) — широко используемое оборудование. Типичная архитектура CDU показана на рисунке 1. Помимо обеспечения силы циркуляции и теплообмена охлаждающей жидкости в процессе первичного охлаждения, это оборудование также выполняет роль распределения охлаждающей мощности (а не только потока охлаждающей жидкости). Таким образом, он обычно имеет следующие функции:

 

1) Регулирование температуры и расхода: динамический мониторинг температуры и расхода охлаждающей жидкости в процессе первичного охлаждения с помощью датчиков температуры и расхода. На основе встроенных моделей CDU динамически регулирует температуру, расход или давление подачи охлаждающей жидкости, чтобы обеспечить достаточную охлаждающую способность, избегая при этом конденсации в первичном контуре охлаждения.

2) Обеспечение физического разделения теплоносителя первого и второго контуров.

3) Онлайн или байпасная фильтрация охлаждающей жидкости.

4) Поддержка управления сетью.

 

▲ Рисунок 1. Типичная архитектура распределительного устройства охлаждения (CDU).

 

Процесс вторичного охлаждения в технологии проектирования центров обработки данных с жидкостным охлаждением передает тепло, отведенное в результате процесса первичного охлаждения, за пределы центра обработки данных, также известное как вторичное охлаждение, внешнее охлаждение, внешнее циркуляционное охлаждение или рассеивание тепла. Вторичным хладагентом в этом процессе может быть воздух, охлаждающая вода, растворы на водной основе (например, растворы этиленгликоля, растворы глицерина) или хладагенты, которые вместе называются вторичными хладагентами. Если в качестве вторичного хладагента используется воздух, процесс вторичного охлаждения аналогичен обычному процессу охлаждения внутри центра обработки данных. Если используется раствор на водной основе, вторичный охладитель циркулирует в так называемом контуре вторичного охлаждения.

 

Теплообмен между первичным и вторичным контурами охлаждения происходит в CDU. После теплообмена в CDU высокотемпературный вторичный теплоноситель поступает в источник охлаждения или в оборудование для рекуперации отработанного тепла, передавая тепло в окружающую среду или позволяя его повторно использовать. Вторичный хладагент после охлаждения возвращается обратно в теплообменник, завершая полный цикл. Источником охлаждения может быть градирня, сухой охладитель, чиллер и т. д. Поскольку процесс первичного охлаждения позволяет температуре на входе вторичного теплоносителя достигать 30 градусов или выше, источник охлаждения может работать исключительно на естественном охлаждении, что объясняет, почему жидкостное охлаждение Технология может достичь относительно идеальной эффективности использования энергии (PUE). Типичная схема технологии жидкостного охлаждения представлена ​​на рисунке 2.

 

▲ Рисунок 2. Технологическая схема жидкостного охлаждения.

 

В некоторых технологиях жидкостного охлаждения используется конструкция, основанная исключительно на процессе первичного охлаждения, при котором охлаждающая жидкость напрямую передает тепло окружающей среде. Однако в большинстве случаев это требует высоких стандартов физической чистоты теплоносителя, что увеличивает затраты. Если трубопроводы слишком длинные, это повлияет на общую экономику системы. Поэтому конструкции первичного охлаждения лучше всего подходят для компактных конфигураций.

 

 

IV Дискуссия о будущих тенденциях развития центров обработки данных с жидкостным охлаждением

 

В целом, будущее развитие центров обработки данных с жидкостным охлаждением все еще остается неопределенным.

 

Во-первых, движущей силой продвижения технологии жидкостного охлаждения по-прежнему будут в первую очередь требования к охлаждению (рассеиванию тепла) ИТ-оборудования. Однако это основано на прогнозах будущих тенденций в разработке электронных чипов, а также на предположении, что экономическая эффективность технологии жидкостного охлаждения постепенно установит преимущество над технологией воздушного охлаждения. Тем не менее, остается вероятность того, что высокая стоимость жидкостного охлаждения может привести к созданию альтернативных конструкций чипов, которые снизят требования к охлаждению и рассеиванию тепла.

 

Во-вторых, конструкция и модель использования ЦОД с жидкостным охлаждением существенно отличаются от традиционных ЦОД с воздушным охлаждением. Характерной чертой центров обработки данных с жидкостным охлаждением является высокая степень связи между ИТ-оборудованием и инфраструктурой. С точки зрения технических принципов и обеспечения надежности они по существу не могут достичь того же уровня развязки, что и традиционные центры обработки данных с воздушным охлаждением. В результате различные поставщики технических решений и оборудования действуют во многом независимо друг от друга. Владельцы центров обработки данных, скорее всего, станут глубоко привязаны к конкретному поставщику технологических решений. Применение технологии жидкостного охлаждения в центрах обработки данных можно рассматривать как развитие, основанное на разрушении исходной коммерческой модели, модели строительства и промышленной модели обычных центров обработки данных с воздушным охлаждением. Традиционные услуги по аренде шкафов практически неприменимы для центров обработки данных с жидкостным охлаждением. Это представляет собой серьезное препятствие для дальнейшего продвижения технологии жидкостного охлаждения.

 

В-третьих, надежность центров обработки данных с жидкостным охлаждением все еще требует проверки. Хотя нынешние поставщики решений для центров обработки данных с жидкостным охлаждением предлагают такие решения, как расширенные испытания надежности и добавление устройств обнаружения утечек и сигнализации для охлаждающей жидкости, опасения по поводу потенциальных утечек в контуре жидкостного охлаждения внутри шкафа, приводящих к повреждению ИТ-оборудования, остаются темой, вызывающей широкое беспокойство в отрасли.

 

Разрешение этих неопределенностей глубоко зависит от масштаба применения. Решение этой, казалось бы, неразрешимой проблемы, монополизация рынка и контроль над добывающими и перерабатывающими отраслями, которые, как было доказано бесчисленное количество раз, нарушают законы экономического развития, не являются решением. История неоднократно показывала, что те, кто первым сможет создать производственную цепочку и экосистему, основанные на разделении труда и сотрудничестве, с большей вероятностью добьются успеха в конкуренции. До тех пор, пока не будет найден технический путь, который отделит ИТ-оборудование от инфраструктуры, стандартизация не станет волшебным решением проблемы отделения и не станет эффективным средством ограничения или нападения на конкурентов. Однако использование стандартизации в качестве инструмента для постепенного продвижения разделения на основе поиска точек соприкосновения при сохранении различий, эффективном обмене опытом и содействии разделению производственных и сервисных процессов для достижения специализации и совершенствования может помочь снизить общие затраты на применение. Постоянное совершенствование посредством тестирования приложений может привести к формированию петли положительной обратной связи, которая расширяет масштабы жидкостного охлаждения, потенциально становясь необходимым путем для развития технологии жидкостного охлаждения.

 

 

V. Заключение

 

В зависимости от таких факторов, как совместимость серверов, тип охлаждающей жидкости и рабочая температура жидкостного охлаждения, соответственно различаются инженерные технологии для центров обработки данных с жидкостным охлаждением. В настоящее время инженерные технологии по каждому техническому маршруту все еще находятся в стадии разработки и доработки, и признанного в отрасли идеального технического маршрута еще не существует. Также нет консенсуса относительно конкретных применимых подполей каждого технического маршрута. Поиск максимальной уверенности будет зависеть от таких факторов, как экономичность, надежность и ремонтопригодность инженерных технологий центров обработки данных с жидкостным охлаждением, а также поиск оптимальных решений посредством постоянного практического применения.