Как устроено охлаждение дата-центра: воздух, жидкости и экономия энергии

Дата-центр можно представить как большой «муравейник» из серверов, которые круглые сутки что-то считают, принимают запросы, обрабатывают видео, резервные копии и многое другое. Каждый такой сервер — это по сути мощный компьютер, который при работе выделяет тепло. Когда таких компьютеров десятки или сотни в одном помещении, тепло складывается и превращается в настоящую «электронную печь». Если его не увести, оборудование начнёт перегреваться, а при сильном перегреве просто выключится или выйдет из строя. Поэтому охлаждение дата центра — не роскошь, а вопрос его выживания.

Перегрев — это не только риск поломки. Представьте интернет-магазин, у которого дата-центр лег в «час пик» из-за отказа системы охлаждения. За каждый час простоя компания теряет реальные деньги и клиентов, а недовольные пользователи тут же расходятся по конкурентам. В корпоративных системах ситуация ещё жестче: если останавливается база данных крупного производства, встают заводские линии, логистика, бухгалтерия. Поэтому задача охлаждения — не просто держать нужную температуру, а обеспечивать непрерывную работу сервиса.

Наконец, охлаждение напрямую связано с расходами на электроэнергию. В современных дата-центрах на отвод тепла может уходить до трети всей потребляемой мощности. Если система спроектирована плохо, владелец будет годами переплачивать за лишние киловатты. Если же охлаждение продумано грамотно, можно заметно снизить расходы и при этом сохранить надёжность. Отсюда главный вывод: хорошее охлаждение одновременно защищает оборудование и экономит деньги.

Откуда берётся тепло и почему его так много?

Любой процессор, жёсткий диск или блок питания работают так: часть энергии идёт на полезные вычисления, а часть превращается в тепло. Чем выше нагрузка, тем больше тепла. В обычном домашнем компьютере это ощущается как тёплый поток воздуха из корпуса. В дата-центре всё то же самое, только масштабы другие: десятки стоек, каждый сервер потребляет сотни ватт, а иногда и больше. В итоге получаем киловатты и даже мегаватты тепла, которые нужно постоянно выносить из зала.

Ситуацию усложняет плотная расстановка оборудования. Современные стойки всё чаще заполняют «под завязку» — туда ставят не только обычные серверы, но и ускорители для задач искусственного интеллекта, которые особенно горячие. Одна такая стойка по тепловой мощности может догнать небольшую котельную. При этом, если воздух вокруг оборудования не движется, горячие потоки застаиваются, а температура поднимается как в духовке, даже если кондиционеры работают на полную. Именно поэтому для дата-центра важен не только холод, но и правильно организованный воздушный поток.

Есть и менее очевидные источники тепла. Это блоки электропитания, устройства хранения данных, сетевое оборудование, аккумуляторные комнаты. Даже освещение и люди в зале вносят свой вклад. В сумме всё это формирует большой «тепловой бюджет», который инженер по охлаждению обязан учитывать. Если просчитаться хотя бы на десять–пятнадцать процентов, то в жаркий день система может не вытянуть пиковую нагрузку, и дата-центр начнёт «захлёбываться» от собственного тепла.

Основные источники тепла в дата-центре:

• серверы и вычислительные модули, включая ускорители для сложных задач;
• системы хранения данных и сетевое оборудование в стойках;
• блоки электропитания, выпрямители и прочие силовые устройства;
• оборудование в соседних комнатах, связанное с дата-центром;
• дополнительные факторы: освещение, люди, нагретый приточный воздух летом.

Какие схемы охлаждения используют дата-центры?

Если отбросить сложные термины, принцип любой системы охлаждения одинаков: нужно забрать горячий воздух от оборудования, заменить его холодным и где-то на улице сбросить лишнее тепло. В простейшем варианте это обычные кондиционеры, которые гонят холодный воздух в серверный зал и выталкивают тёплый наружу. Но для крупного дата-центра такого подхода уже мало: нужен чёткий порядок движения воздуха, резервирование и экономичные режимы работы. На практике всё сводится к нескольким основным схемам.

Самый распространённый подход — охлаждение воздухом. Холодный воздух подают к передней части стоек, серверы прогревают его и выбрасывают назад, где он собирается и уходит к холодильному оборудованию. Чтобы холод и тепло не перемешивались, применяют раскладку залов с «холодными» и «горячими» коридорами, а также различные системы ограждений. Такой метод относительно прост, но ограничен по плотности тепловыделения: при очень мощных стойках воздух уже не справляется.

Когда тепла становится слишком много, в ход идёт жидкостное охлаждение. В этом случае холодная жидкость циркулирует по трубам или теплообменникам рядом с оборудованием, иногда — прямо внутри серверов. Жидкость забирает тепло гораздо лучше воздуха, поэтому позволяет ставить более мощное железо на меньшей площади. Ещё один подход — использовать наружный воздух или холодную воду с улицы, чтобы часть года вообще обходиться без традиционных холодильных машин. Такой режим часто называют свободным охлаждением: дата-центр буквально остывает за счёт погоды.

Воздушное охлаждение и «холодные коридоры».

Классический пример: серверный зал с фальшполом. Под полом прячутся каналы, по которым подаётся холодный воздух. В плитках пола перед стойками делают решётки, через которые воздух поднимается вверх и попадает на передние панели серверов. Сзади стойки воздух выходит уже горячим, поднимается под потолок и уходит к охлаждающим установкам. Чтобы схема работала стабильно, важно не допускать смешивания потоков. Поэтому ряды стоек ставят «лицом к лицу», образуя чередующиеся холодные и горячие коридоры.

На практике это выглядит так: персонал ходит по холодным коридорам, где из пола дует прохладой, а за спиной у него — горячие коридоры, доступ в которые обычно ограничен. Дополнительно используют заглушки в пустых местах стойки, перегородки и шторы, чтобы горячий воздух не возвращался к передней части оборудования. Такой подход кажется простым, но именно он даёт заметную экономию: чем меньше впустую смешиваются горячие и холодные потоки, тем меньше нужно холода.

Плюсы и минусы воздушного охлаждения:

• относительная простота и понятная эксплуатация, не нужны сложные трубопроводы внутри стоек;
• подходит для большинства небольших и средних дата-центров;
• ограниченная плотность тепловыделения, с очень горячими стойками справляется плохо;
• требует аккуратной планировки залов и регулярной работы с «дырами» в стойках и фальшполе;
• чувствительно к чистоте фильтров и правильной настройке скорости воздушных потоков.

Жидкостное охлаждение.

Когда в стойке появляются десятки горячих процессоров и ускорителей, воздух может просто не успевать забирать тепло. Тогда в дело вступает жидкость. Она подводится к специальным теплообменникам внутри стоек или даже непосредственно к отдельным серверным платам. Жидкость забирает тепло и уносит его к более крупным холодильным установкам, где остывает и идёт по кругу. Идея здесь проста: вода и другие жидкости переносят тепло гораздо эффективнее воздуха.

Сначала жидкость подвели только к дверям стоек, где стояли радиаторы с вентиляторами. Потом появились решения с полностью погружёнными в жидкость серверами. Сегодня крупные компании экспериментируют с подводом охлаждающей жидкости прямо к поверхности чипа, через систему микроканалов. Такой подход позволяет уплотнять оборудование ещё сильнее, а значит, на той же площади размещать больше вычислительной мощности. При этом сам зал может быть менее шумным и требовать меньше холодного воздуха.

Особенности жидкостного охлаждения:

• очень высокая плотность тепловыделения на стойку, подходит для задач искусственного интеллекта и научных расчётов;
• сложность проектирования: нужно продумать трубопроводы, защиту от протечек и обслуживание;
• более высокие первоначальные затраты, которые окупаются за счёт экономии энергии и плотности размещения;
• повышенные требования к персоналу и мониторингу, особенно при подводе жидкости близко к электронике.

Свободное и «экологичное» охлаждение.

В регионах с прохладным климатом грех не использовать саму природу. Многие дата-центры часть года охлаждаются за счёт наружного воздуха или холодной воды из городских сетей и градирен. В простейшем варианте холодный воздух с улицы очищают фильтрами и подают в зал вместо работы компрессоров. В более сложных схемах наружная вода охлаждает теплоноситель через теплообменник, а компрессоры включаются только в жару. Получается, что большую часть времени оборудование охлаждается почти бесплатно, а основная электроэнергия уходит на вентиляторы и насосы.

Отдельное направление — использование отходящего тепла. Некоторые дата-центры передают тепловую энергию в городские системы отопления или для подогрева воды в близлежащих зданиях. С точки зрения экологии это двойная выгода: серверы не просто «греют улицу», а реально помогают отапливать дома. Такой подход активно развивается на фоне роста потребления энергии центрами обработки данных и требований к снижению выбросов. Правильно спроектированное свободное охлаждение способно сильно снизить счета за электроэнергию и сделать объект более дружественным к окружающей среде.

Типичные элементы свободного охлаждения:

• забор наружного воздуха с фильтрацией и регулировкой влажности;
• теплообменники, которые передают тепло от внутреннего контура к наружной воде или воздуху;
• градирни и сухие охладители, сбрасывающие тепло в атмосферу;
• системы утилизации тепла для отопления зданий или технологических нужд.

Как спроектировать надёжную и экономичную систему охлаждения?

Проектирование охлаждения дата-центра напоминает работу инженера, который строит мост: главное — заложить запас прочности и при этом не переплатить за металл. Сначала считают тепловую нагрузку: сколько киловатт выделяет оборудование сейчас и сколько будет выделять через несколько лет, когда зал заполнят полностью. Затем выбирают схему охлаждения: достаточно ли воздушной, нужна ли жидкостная, есть ли смысл в свободном охлаждении. Важно помнить, что ошибку на этапе проекта потом очень дорого исправлять.

Второй ключевой момент — резервирование. Охлаждение относится к жизненно важным системам, поэтому почти всегда закладывают запас: например, при шести работающих установках ставят ещё одну такую же, которая включится в случае отказа. То же касается насосов, вентиляторов, линий питания. Если одна ветка вышла из строя, другая должна взять на себя нагрузку без остановки зала. Для крупных дата-центров простои из-за отказа охлаждения недопустимы, поэтому проектировщики закладывают несколько уровней защиты.

Третий слой — управление и мониторинг. Современные системы не просто включают и выключают охлаждение, а гибко подстраивают его под нагрузку. Датчики температуры и влажности стоят в разных точках зала и в стойках, автоматика регулирует скорость вентиляторов, клапаны и насосы. Это позволяет поддерживать температуру в рекомендуемом диапазоне и не тратить лишнюю энергию. Здесь важен здравый баланс: слишком холодный зал — это трата денег, слишком тёплый — риск отказа оборудования.

Практические шаги при проектировании охлаждения дата-центра:

• оценить текущую и будущую тепловую нагрузку с запасом на рост вычислительных мощностей;
• выбрать основную схему охлаждения и при необходимости добавить жидкостную часть для самых горячих стоек;
• организовать чёткое разделение холодных и горячих потоков воздуха в зале;
• заложить резервирование ключевых элементов охлаждения и электропитания систем;
• предусмотреть мониторинг температуры, влажности и работы оборудования с возможностью быстрого реагирования;
• проработать варианты использования свободного охлаждения и утилизации тепла, если климат и инфраструктура это позволяют.

Мини-кейс: небольшой региональный дата-центр.

Представим оператора связи, который строит дата-центр на пятьдесят стоек в прохладном регионе. На старте у него умеренная нагрузка, но через несколько лет планируется рост вдвое. Инженеры оценивают тепловыделение при полной загрузке, выбирают воздушное охлаждение с холодными коридорами и добавляют возможность свободного охлаждения за счёт наружного воздуха большую часть года. Для подстраховки устанавливают одну резервную холодильную установку и резервные насосы. В зале размещают датчики температуры в каждой второй стойке и на входе воздуха.

В результате получаем систему, которая сейчас работает с хорошим запасом, а в будущем выдержит рост нагрузки без капитальной переделки. Часть года дата-центр практически не включает компрессоры, экономя энергию. Если одна установка выходит из строя, резервная берёт на себя нагрузку, и пользователи даже не замечают проблемы. Такой пример показывает, что грамотное охлаждение — это не обязательно сверхсложные технологии, а прежде всего правильный расчёт и продуманная архитектура.

Заключение.

Охлаждение дата-центра — это целый мир, но его можно описать простыми словами. Серверы постоянно выделяют тепло, и задача инженеров — надёжно и экономично выводить это тепло наружу. Для этого используют воздушное, жидкостное и свободное охлаждение, комбинируют разные схемы, организуют холодные и горячие коридоры, подводят воду к самым «горячим» элементам и даже возвращают лишнее тепло в систему городского отопления. Главное — не забывать, что охлаждение должно быть не только мощным, но и устойчивым к любым отказам.

Хорошо спроектированная система охлаждения позволяет дата-центру работать круглые сутки, выдерживать резкие скачки нагрузки и при этом не съедать весь бюджет на электроэнергию. Она опирается на понятные принципы: точный расчёт тепловой нагрузки, резервирование, разделение горячих и холодных потоков, использование выгодных климатических условий и постоянный мониторинг. Если все эти элементы на месте, дата-центр превращается из «комнаты с горячими коробками» в действительно надёжную инфраструктуру, на которую можно спокойно опираться годами.

Источники.

1. Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE). Обновлённые термические рекомендации для дата-центров и серверного оборудования.
2. Министерство энергетики США. Руководство по проектированию энергоэффективных дата-центров.
3. Исследовательский центр Uptime Institute. Рекомендации и обзоры практик охлаждения и повышения надёжности дата-центров.
4. Материалы о свободном охлаждении и использовании наружного воздуха и воды для охлаждения дата-центров, опубликованные энергетическими агентствами и профильными организациями.
5. Публикации крупных производителей и операторов дата-центров о современных системах воздушного, жидкостного и микроканального охлаждения и утилизации тепла.

---