Погружное охлаждение электроники

Взрывной рост интернета, искусственного интеллекта, облачных сервисов и высокопроизводительных вычислительных систем привели не только к кардинальным изменениям в работе дата-центров (ЦОД), но и в самом качестве жизни. Но всё имеет свою цену. Сегодня дата-центры потребляют колоссальное количество электроэнергии, в США оно доходит до 2% от общего объема энергопотребления страны. Энергия, потребляемая подсистемой охлаждения, может варьироваться от 2-6% до 60-70% от общего количества энергии ЦОД. Один дата-центр потребляет в день электроэнергии столько же, сколько небольшой город в 9 тысяч жителей. При этом основная часть электричества уходит на работу охлаждающих устройств и вентиляторов. Поэтому вопрос эффективности отвода тепла в современном ЦОД — это вопрос построения максимально эффективной системы отвода тепла от массива серверов. Для сокращения затрат на охлаждение серверов и уменьшения вредного воздействия выбросов в окружающую среду компания 3М разработала революционный метод охлаждения для дата-центров — технические жидкости для иммерсионного охлаждения в однофазных и двухфазных системах. Внедрение такого метода охлаждения позволяет сократить энергозатраты на 97% (!) при уменьшении площадей серверных помещений на порядок и поддержке оптимальной рабочей температуры процессоров. Иммерсионное охлаждение осуществляет теплоотвод методом непосредственного погружения печатных плат в непроводящую диэлектрическую жидкость. Тепло, выделяемое комплектующими, напрямую и эффективно передается жидкости, устраняя необходимость в активных компонентах охлаждения (таких как термоинтерфейсы, радиаторы и вентиляторы). Такая организация теплоотвода повышает эффективность используемых энергоресурсов и уплотняет размещение серверов в стойках. А «собранное» тепло можно использовать для последующих инноваций. В США энергоэффективность государственных дата-центров регулируется указом президента Обамы от 2015 года, согласно которому PUE всех дата-центров должна составлять менее 1.5, а новые дата-центры должны достичь уровня 1.2-1.4 к 2025. В 2014 году компания 3М получила бронзовую медаль Эдисона (награда, вручаемая институтом инженеров электротехники и электроники IEEE) за технологию двухфазного охлаждения посредством жидкостей Novec.

Основные типы иммерсионного охлаждения

Основными методами охлаждения электроники являются воздушное (преимущественно) и жидкостное. Сегодня большинство ЦОД построено на воздушном или воздушно-водяном охлаждении. Сравнение с воздушным методом охлаждения приведено в таблице.

Таблица. Сравнение воздушного и жидкостного охлаждения (данные ГК РСК).

Преимущества двухфазного охлаждения перед воздушным:

• увеличение плотности мощности на стойку
• повышение производительности в расчете на 1 кв.м.
• существенное снижение энергопотребления

В качестве жидкостного охлаждения сегодня используются различные материалы: вода, деионизированная вода, ингибированные гликоли (этиленгликоль и пропиленгликоль), диэлектрические жидкости. Принципиальное значение при выборе типа жидкости имеет вопрос совместимости жидкости со смачиваемыми материалами (что позволит избежать коррозии при долгосрочном использовании).

Таблица. Совместимость материалов с различными охлаждающими жидкостями

Вода является отличным решением для охлаждения, она имеет хорошую теплопроводность и совместима с медью. Для ее использования в системе охлаждения необходимо озаботится дополнительными фильтрами или деионизаторами воды, поскольку примеси в водопроводной воде очень быстро приведут к образованию коррозии. Для защиты от коррозии в воду добавляют фосфаты, они являются эффективной антикоррозионной добавкой для нержавеющей стали и большинства алюминиевых компонентов, а также обеспечивают pH контроль. Их единственный недостаток — отложение осадка вместе с кальцием.

Этиленгликоли широко используются в автомобильной промышленности (антифриз), однако их нельзя использовать для охлаждения электроники, поскольку они содержат ингибиторы с силикатами, которые разрушают герметизирующие прокладки и способствуют гелеформированию. Сегодня этот тип охлаждения используется в оборудовании для пищевой промышленности. По сравнению с водопроводной водой деионизированная вода является хорошим изолятором, но отличается высокой резистивность и коррозийностью, поэтому в нее добавляют антикоррозионные добавки. Кроме того, трубки должны быть выполнены из сверхчистого материала, а любая арматура иметь покрытие никелем. Технические жидкости Novec имеют ряд преимуществ перед другими диэлектрическими жидкостями, например, минеральным маслом. Помимо того, что жидкости 3М являются невоспламеняющимися и невзрывоопасными, они имеют необходимую точку кипения и термостабильность для построения двухфазной системы охлаждения. Обслуживание и ремонт оборудования не вызовет проблем, поскольку погруженные в жидкость платы остаются чистыми и сухими (именно сухими, несмотря на то, что они погружены в якобы «жидкость»). Кроме того, масло вызывает множество проблем с очисткой как охлаждаемой аппаратуры, так и помещений, где оно расположено (в случае протечки). Диэлектричекие жидкости 3М совместимы с любыми материалами, в то время как масло плохо совместимо с пластиковыми кабелями, может оставлять осадок на компонентах. Также масло долго сохраняет тепло, что затрудняет быстрое и своевременное обслуживание оборудования.

Таблица 1. Совместимость жидкостей Novec с различными материалами

Диэлектрические охлаждающие жидкости 3М

В 1950 годы компания 3М выпустила первую фторсодержающую охлаждающую жидкость для военной авионики (Fluorinert). 70-е и 80-е годы XX века стали эрой расцвета материалов для прямого контактного охлаждения, благодаря чему стало возможным развитие радарной техники, силовой электроники и суперкомпьютеров. В 1996 году 3М разработали новый тип жидкости для замены озоноразрушающих веществ (таких как CFC, HFC) — жидкости под торговой маркой Novec.

Жидкости Fluorinert

Жидкости Fluorinert 3M относятся к классу полностью фторированных жидкостей, известных как перфторуглероды (PFC). Прозрачные, без цвета и запаха, невоспламеняемые, жидкости имеют ряд особенностей, делающих их привлекательными для иммерсионного охлаждения печатных плат, в их число входят отличные диэлектрические свойства, широкий диапазон точек кипения и хорошая совместимость с различными материалами. Эти жидкости используются для решения сверхсложных и ответственных задач теплоотвода более чем 50 лет, например, в пассажирских экспрессах в Японии и в экспериментальном космическом модуле Kibo (Hope) на МКС. Также они широко используются как практический материал для прямого охлаждения силовых конвертеров и в испытательных лабораториях. Несмотря на то, что жидкости Fluorinert не разрушают озоновый слой, они имеют долгий срок жизни в атмосфере и обладают высоким потенциалом глобального потепления. При этой причине, как и все перфторуглероды, они должны использоваться только в тех приложениях, где требуются их уникальные свойства, при этом особое внимание следует уделить контролю выбросов и их минимизации. Жидкости Fluorinert должны использоваться только в закрытых резервуарах и системах, особые меры безопасности требуются для предотвращения попадания в глаза и на кожу. Несмотря на то, что жидкость инертная, практика ее применения в суперкомпьютерах Cray-2 показала, что в течение продолжительного срока эксплуатации она расщепляется и выделяет высокотоксичный перфторизобутан. Для его удаления необходимо использовать катализаторные очистители. Практика использования перфторуглеродных жидкостей была показана в научно-фантастическом фильме «Бездна» (1989), где насыщенная кислородом Fluorinert жидкость использовалась дайверами для погружения на большие глубины. Проводился эксперимент с крысами, которые дышали в банке с такой жидкостью, но сцена была вырезана из фильма как жестокое обращение с животными.

Жидкости Novec

Поскольку перфторуглероды (жидкости Fluorinert) имеют высокий потенциал глобального потепления, компания 3М разработала новый тип охлаждающей жидкости, который не наносит вреда окружающей среде. Это жидкости Novec 7100 на основе метокси-нонафторбутан (C4F9OCH3). Жидкость Novec 7100 (C4F9OCH3) состоит из двух неразделимых изомеров с практически идентичными свойствами. Это (CF3)2CFCF2OCH3 (CAS-номер 163702-08-7) и CF3CF2CF2CF2OCH3 (CAS-номер 163702-07-6). Жидкости Novec позволяют создавать двухфазные (2PIC) иммерсионные системы охлаждения с полуоткрытыми контейнерами (т.н. open bath immersion, OBI). Уже сегодня применение этих жидкостей в дата-центрах демонстрирует непревзойденные результаты, экономя до 95% электроэнергии и сокращая в 10 раз занимаемые оборудованием площади. Благодаря эффективному теплоотводу достигается хороший разгон процессора. Двухфазные системы не требуют охладителей, вентиляторов или герметичных корпусов.

Система однофазного охлаждения

Охлаждающие жидкости могут применять в одной из двух систем — однофазной или двухфазной. Различие между ними заключается в наличии или отсутствии фазового перехода, т.е. перехода жидкости в пар. В однофазной системе жидкость циркулирует посредством дополнительного насоса и не переходит в пар. Для таких систем выбирают жидкости с высокой точкой кипения (более 80С). Двухфазная система не требует насоса, использует фазовый переход и считается более эффективным методом охлаждения.

Для правильного выбора охлаждающей жидкости необходимо учитывать рабочий температурный диапазон. Например, требуется охлаждать полупроводниковый тестер, его рабочая температура находится в диапазоне −40...+40°С. Из этого можно предположить, что температура охлаждающей жидкости не поднимется выше 40°С (она не должна закипать при этой температуре), в то время как в чиллере (охладителе) она может доходить до −50°С. Т.о. необходимо найти жидкость, которая будет работать в этом диапазоне. Например, подойдет FC-72. Из ее характеристик следует, что при −50°С вязкость ее составит 1,5 cСт, чуть выше воды при комнатной температуре. Поэтому жидкость будет достаточно легко поддаваться насосной перекачке без дополнительных затрат электроэнергии.

Однако применение FC-72 может привести к лишним потерям жидкости. Т.к. система работает в широком температурном диапазоне, жидкость будет значительно расширяться и сжиматься (обычно 1% от объема на каждые 10°С). Большинство расширительных резервуаров чиллеров вентилируется для подачи и очистки воздуха посредством этих расширительных отсеков. Поскольку воздух в этих резервуарах насыщается парами жидкости, единственный путь уменьшить количество жидкости, переносимой воздухом за каждый термоцикл — это сократить давление пара в жидкости. Это можно сделать, если выбрать жидкость с более высокой температурой кипения.

Рассмотрим жидкость FC-84, у которой точка кипения составляет 80°С. У нее давление пара при +40°С составляет только 40% от FC-72. Несмотря на то, что реальные потери испарений необходимо рассчитывать на основании отношения давления пара и температуры, применение FC-84 позволит значительно сократить потери жидкости. Вязкость FC-84 при −40°С равна 3 сСт, т.е. жидкость достаточно подвижна для насосной перекачки. Применение жидкости с еще более высокой точкой кипения (FC-77) сократит давление пара при 40°С до 20% по отношению к FC-72, вязкость FC-77 равна 6,6 сСт, также вполне допустимо для данного приложения.
Несмотря на достаточно узкий диапазон рабочих температур, выбор фторсодержащих жидкостей Fluorinert или Novec для однофазного охлаждения опирается обычно на компромисс между летучестью высокого порога температуры и теплопередачей или эффективностью насосной подкачки на нижнем пороге температуры.

Система двухфазного охлаждения

Двухфазная система охлаждения предполагает наличие резервуара, где размещены серверные платы, наполненного жидкостью Novec 7100 с температурой кипения 61 градус. Когда процессы излучают тепло, жидкость нагревается и закипает, горячий пар поднимается вверх к крышке резервуара. В верхней части резервуара размещается охлаждающий змеевик (с водным охлаждением), на котором пар конденсируется и снова превращается в жидкость. Таким образом, жидкость повторно возвращается в резервуар без использования насосов. Такая система позволяет экономить до 95% энергии с минимальными потерями жидкости. Печатные платы, предназначенные для охлаждения иммерсионным способом, не содержат радиаторов или охлаждающих площадок. Компоненты на них могут размещаться более плотно, а процессоры разгоняться быстрее (например, 500Вт ASIC можно разогнать до 750Вт).

• Пар конденсируется на крышке или катушке радиатора
• Жидкость стекает в резервуар
• Пар поднимается вверх
• Жидкость, нагретая от работы компонентов, переходит в пар

Выбор жидкости для двухфазного охлаждения обычно основывается на ее точке кипения. Для оборудования пайки струей горячего пара точка кипения жидкости выбирается так, чтобы ее уровень соответствовал точке эвтектики припоя. Для систем охлаждения электроники точка кипения жидкости должна поддерживать требуемый рабочий температурный режим компонентов. Также следует учитывать температуру оконечного радиатора. В некоторых случаях жидкость FC-72 используется не по причине того, что ее точка кипения 56°С является идеальной для работы электроники, а потому что эта точка кипения позволяет конденсатору выбрасывать тепло в окружающую среду без компрессора. Следует учитывать, что жидкостям Fluorinert или Novec обычно нужны тепловые потоки более 2 Вт/кв.см для поддержки кипения. Перегрев стенок обычно составляет 15-25°С в процессе кипения и критические тепловые потоки обычно составляют 15-20 Вт/кв.см для кипящего резервуара. Более подробно построение системы двухфазного охлаждения будет рассмотрено во второй части статьи.

Экологичность и безопасность для обслуживающего персонала

Организация дата-центров с иммерсионным охлаждением не должна идти в ущерб безопасности рабочей среды для обслуживающего персонала. Все технические жидкости 3М:

• превосходят все требования по безопасности
• имеют низкую токсичность
• не воспламеняются.

Снижение энергопотребление хорошо не только само по себе, это позволяет улучшить нашу экологию. Уменьшение потребляемой энергии означает сокращение выработки электроэнергии, меньшее использование нефтепродуктов и сокращение выбросов в атмосферу. Меньшие площади дата-центров экономят строительные материалы и ресурсы на обслуживание. «Зеленый» дата-центр с жидкостями 3М — это:

• благоприятный экологический профиль
• низкий потенциал глобального потепления
• нулевой потенциал разрушения озонового слоя земли.

Примеры внедрения

Сегодня иммерсионное охлаждения посредством жидкостей 3М только выходит на российский рынок. Однако на мировом рынке она уже имеет 50-летнюю историю успеха. Эта технология сегодня используется в суперкомпьютерах Intel и SGI — ведущих игроках на рынке высокопроизводительных вычислений. В демонстрации технологии 3М используются чипы ES-2600 Xeon Intel. Тестовые испытания серверов Intel показали энергоэффективность 1,02-1,03 PUE. Приведем несколько примеров успешного внедрения. Суперкомпьютер Suiren («водяная лилия»), разработанный японской компанией PEZY Computing и ExaScaler Inc., использует однофазное охлаждение на основе жидкости 3М Fluorinert, что помогло ему войти в лист «Green 500» самых высокопроизводительных компьютеров. Этот рейтинг ведется с 2007 года, в основе критерия производительности лежит число операций, выполненных за 1 Вт. В 2014 году они заняли 2 место, достигнув производительности 4,95 Гфлопс/Вт, затратив на это 37,38 кВт.

Прорыв в эффективности дата-центров был сделан компанией Allied Control (сегодня принадлежит BitFury Group), ведущим провайдером Blockchain технологии. В 2014 году, компания, уже имеющая опыт двух проектов по иммерсионному охлаждению, запустила самый большой свой проект — масштабируемая система 40+ МВт на 160 емкостей с плотностью мощности 250 кВт на емкость и эффективностью энергопотребления PUE 1,02 (отметим, что сегодня лучшими мировыми стандартами являются значения 1,5). Это будет самый мощный дата-центр с погружным охлаждением в мире. В качестве охлаждающей жидкости был выбран Novec 7100.

Примеры совсем не ограничиваются зарубежным опытом, в России уже несколько компаний успешно применяют охлаждающие жидкости 3М. Например, интегратор и разработчик суперкомпьютерных решений компания РСК использует прямое жидкостное охлаждение в своей линейке ЦОД оборудования с 2010 года.

Технология, применяемая РСК, позволяет реализовать жидкостное охлаждение для стандартных серверных плат, процессоров и памяти, но также и дополнительных карт расширения, таких как ускорители или сопроцессоры, карты ввода/вывода и прочее. На основе технологии прямого жидкостного охлаждения РСК была создана архитектура высокоплотного размещения серверов в стойке с прямым жидкостным охлаждением всех серверов — РСК Торнадо, обеспечивающая плотность упаковки до 128 серверов в стойке размеров 80×80×200 см. Такая архитектура позволяет отвести до 100кВт тепловой энергии от одной стойки. Коэффициент эффективности использования энергии равен 1,06, т.е. на охлаждение тратится не более 6% электроэнергии, потребляемой вычислителем. Суммарная экономия затрат на охлаждение составляет до 68 % по сравнению с воздушной или воздушно-водяной системами охлаждения (у которых типичный коэффициент PUE равен 1.5-2).

Другой пример отечественной разработки — суперкомпьютеры «СКИФ-Аврора ЮУрГУ», разработанные компанией «РСКСКИФ» при участии института программных систем РАН.

Суммируем основные преимущества построения ЦОД и вычислительных центров на иммерсионном охлаждении:

• уменьшение энергопотребления, используемого для охлаждения серверов, возможность построения «зеленых» дата-центров
• требуется всего несколько подвижных элементов для обслуживания и ремонта
• увеличение плотности размещения серверов, поскольку жидкость более эффективно отводит тепло
• возможность максимального использования ресурсов процессоров, поскольку температура поддерживается ниже термального предела
• простота обслуживания, не требуется чистка и сушка
• значительное сокращение шумового фона в серверных зонах
• защита IT оборудования от загрязнений окружающей среды, таких как пыль и сера

Иммерсионное охлаждения диэлектрическими жидкостями 3М — это новый этап в развитии систем охлаждения не только вычислительных центров, но и силовой электроники и железнодорожного транспорта, о чем пойдет речь в следующих статьях.