Устройство ИТ-инфраструктуры любого предприятия должно вестись с учётом постоянного соблюдения высокого уровня безопасности и доступности серверов. Поиск оптимального решения этой задачи приводит крупный и средний бизнес к тому, что вычислительные ресурсы постепенно аккумулируются в специализированных центрах обработки данных (ЦОД), представляющих собой гибкую среду, способную при необходимости перераспределять нагрузки между выполняемыми задачами и успешно справляться с пиковыми потоками данных. Бесперебойное функционирование подобных центров неразрывно связано с надёжностью их инженерной инфраструктуры, а в частности — системы электроснабжения.
Надёжность ЦОД как основа для стандартизации
Чтобы избежать расплывчатых формулировок как при формировании технического задания к строящимся дата-центрам, так и при описании характеристик уже функционирующих ЦОД, была введена независимая система классификации Tier. Согласно этой градации (входящей в стандарт TIA/EIA-942), все ЦОДы разделяются по четырём классам, исходя из отказоустойчивости оборудования.
Уровни Tier 1 и Tier 2 подразумевают сравнительно низкое резервирование1 систем ЦОД (допускается даже его отсутствие). Главная особенность дата-центров таких классов заключается в необходимости остановки предоставления сервисов для проведения любых профилактических или ремонтных работ. Преимущество ЦОД уровней Tier 1 и Tier 2 — сравнительно невысокая стоимость вычислительных ресурсов.
Дата-центры класса Tier 3 и Tier 4 принципиально отличаются от объектов более низкого уровня тем, что в них имеется достаточное резервирование как ИТ, так и инженерных систем, чтобы осуществлять ремонтные работы, не останавливая запущенные сервисы. Между собой уровни 3 и 4 (как, впрочем, и уровни 1 и 2) различаются допустимым коэффициентом отказоустойчивости. Для ЦОД уровня Tier 3 он составляет 99,749%, а для Tier 4 – 99,982%. Очевидно, что последний обеспечивает крайне надёжную структуру дата-цента — опытным путём отказы оборудования уменьшены до одного четырёхчасового случая в пятилетний период.
Естественно, если говорить о крупном и среднем бизнесе, наиболее востребованными оказываются дата-центры класса Tier 3 и Tier 4. Для достижения столь высокого уровня надёжности современные технологии предлагают целый ряд инструментов, работающих на всех трёх логических уровнях ЦОД: программном, телекоммуникационном и инженерном.
Центры данных класса Tier IV наиболее полно соответствуют концепциям отказоустойчивости компьютерного оборудования, в котором используется кластеризация ЦПУ, массивы RAID DASD и резервированные каналы передачи данных, обеспечивающие высокую надежность, эксплуатационную готовность и ремонтопригодность.
Важнейшие требования к системе бесперебойного питания — это выходная мощность, время автономной работы, наличие встроенного и/или внешнего байпаса и возможность наращивания мощности без переделки ИБП.
- Программное обеспечение для дата-центров позволяет подняться на другой уровень абстракции, работать с виртуальными системами, не привязанными к конкретной географической точке размещения серверов. Иными словами, ЦОД может представлять собой как один объект, так и несколько центров по всей стране, объединённых одной ИТ-инфраструктурой. Это позволяет повысить надёжность сервисов, в том числе хранения данных, за счёт дублирования информации в различных географических точках.
- Телекоммуникационные каналы позволяют многократно повторять подключение серверов к Интернету, что гарантирует доступность размещённых в ЦОД данных даже при обрыве связи на одной из магистральных линий.
- Требуемой безопасности ЦОД невозможно достигнуть без отказоустойчивости входящих в него инженерных систем, в частности – систем кондиционирования, безопасности и т.п. Именно поэтому уровни надёжности Tier 3 и 4 предъявляют достаточно жёсткие требования к системе электроснабжения.
Культура работы с инженерными системами, а также устаревшие комплектующие порождают ряд проблем с реализацией высоких требований к надёжности в реальных условиях. По словам Петра Вашкевича, главного инженера департамента интеллектуальных зданий компании «КРОК», на российском рынке встречаются ситуации, когда в ЦОДах большое внимание уделяется одним характеристикам в ущерб другим. Например, в деталях проработаны системы технической безопасности, а система электропитания не продумана на должном уровне.
Проблемы системы электроснабжения ЦОД и методы их решения
Проблема 1. Недостаточная подготовленность инженеров-проектировщиков
Описание: Отсутствие специализированного опыта часто приводит к тому, что компании используют в своей работе те же принципы, что и при проектировании систем электроснабжения жилых домов или обычных административных или промышленных объектов. «Падение квалификации и компетентности проектировщиков – общероссийский тренд: рынок ЦОД по именам знает действительно профессиональных профильных инженеров, и число их, к сожалению, пока еще крайне невелико. Кроме этого, существует проблема «политического» давления на сам процесс проектирования, как правило, в ущерб техническим характеристикам и экономическим показателям проекта. В этом случае, даже если проектировщик и имеет соответствующую квалификацию, он ограничен в принятии решений. Поэтому результат обычно всегда дороже, чем он мог бы быть, причем больше становятся как капитальные, так и последующие операционные затраты. В дополнение к этому, проекты разрабатываются и согласовываются крайне долго, весь процесс по срокам часто «переваливает» за границу одного календарного года. За рубежом за то же самое время среднестатистический ЦОД на несколько мегаватт уже вводится в эксплуатацию», — делится мнением Максим Важенин, эксперт компании «Ди Си квадрат».
Решение: Единственное возможное решение — привлечение к строительству объекта профильных специалистов и производителей специализированного качественного оборудования.
/// ВРЕЗКА. Рекомендации по проектированию ЦОД
Любой специалист должен чётко понимать, что основная задача при проектировании ЦОД – обеспечить максимальный уровень доступности серверов при минимальном показателе эффективности потребления электроэнергии (PUE)2. Для этого необходимо выполнять 4 правила:
- Максимально сократить число аварий (качественное оборудование, полная диспетчеризация на всех уровнях).
- Свести к минимуму время восстановления после аварии.
- Применять решения и оборудование, позволяющие проводить обслуживание без отключений (резервирование не менее N+1, втычные распределительные системы).
- Использовать энергоэффективные решения и технологии (частотные преобразователи, компенсаторы реактивной мощности и др.).
Проблема 2. Простой системы в случае аварии
Описание: Высокие требования по отказоустойчивости ЦОД уровней Tier 3 и Tier 4 ведут к тому, что простой вариант с ремонтом или профилактикой во время отключения электроснабжения неприемлем для дата-центров этих классов. В то же время никакое оборудование не застраховано от поломок, кроме того, любая инженерная система периодически требует проведения осмотра и технического обслуживания.
Решение: В дата-центрах высокого уровня надёжности необходимо использовать системы, позволяющие оперировать отдельными элементами без отключения от питающей сети. «Сегодня существуют так называемые решения втычного монтажа для системы электроснабжения, — рассказывает Дмитрий Фомин, инженер по группе изделий компании АББ, лидера в производстве силового оборудования и технологий для электроэнергетики и автоматизации. — В прошлом году на российском рынке появилась модульная распределительная система Smissline TP со встроенными токоведущими шинами (см. рис. 1). В ней реализована идея питания типовых модульных аппаратов непосредственно с шины без дополнительного кабельного подключения, что обеспечивает повышенную надёжность соединений системы. Поэтому данное оборудование ориентировано на потребителей первой, в том числе — особой категории электроснабжения». Специалист рассказал, что в 2012 году были реализованы первые проекты с применением данной серии оборудования, ими стали ЦОД лаборатории Касперского и ЦОД для нужд Лукойл-информ. В обоих случаях модульная Smissline TP применялась в системах вторичного распределения – щитах питания стоек дата-центров.
Рис. 1. Модульная распределительная система Smissline TP со встроенными токоведущими шинами. Пример подключения оборудования
Категории электроснабжения
Согласно Правилам устройства электроустановок (ПУЭ), в отношении обеспечения надёжности электроснабжения потребители электроэнергии разделяются на следующие три категории:
I категория – электроприёмники, перерыв электроснабжения которых может повлечь за собой: опасность для жизни людей, повреждение дорогостоящего оборудования, массовый брак продукции, расстройство технологического процесса, нарушение функционирования особо важных элементов коммунального хозяйства.
II категория — электроприёмники, перерыв электроснабжения которых приводит к массовому недоотпуску продукции, массовым простоям рабочих, механизмов и промышленного транспорта, нарушению нормальной деятельности значительного количества городских и сельских жителей.
III категория — все остальные электроприёмники, не подходящие под определения I и II категорий.
Проблема 3. Сложности при расширении и модернизации
Описание: Модернизация оборудования — общая проблема ЦОД, не зависящая от локальных особенностей географического региона, где он строится. Её источником является сам жизненный цикл дата-центра и огромная скорость развития аппаратного обеспечения. «Среднее время эксплуатации ЦОД без капитальной модернизации ИТ-инфраструктуры составляет 10 лет. Вычислительные узлы, построенные на серверах стандартной архитектуры (X86), морально устаревают и уже не способны удовлетворять постоянно растущим бизнес-требованиям после 3-5 лет эксплуатации. Вычислительная техника класса mid-range «живёт» несколько дольше — 5-7 лет. Только оборудование класса high-end (мэйнфреймы) может эксплуатироваться 10 лет и более, — делится опытом Михаил Пузанов, специалист отдела систем стандартной архитектуры департамента сетевой интеграции «ЛАНИТ». — Смена парка оборудования неизбежно влечёт за собой изменение существующей системы распределения электропитания и в конечном итоге приводит к модернизации электроснабжения ЦОДа».
Решение: Единственное решение, позволяющее справиться с постоянным ростом мощности и необходимостью замены оборудования или внедрения новых аппаратов – построение масштабируемой системы электроснабжения, позволяющей подстраивать её параметры под требования ИТ без затрат на переделку уже существующих сегментов. «Не всегда на начальном этапе построения системы электроснабжения очевидно, какие компоненты понадобятся при расширении или модернизации системы. Поэтому необходимо, чтобы оборудование, устанавливаемое в электрическом щите, позволяло в любой момент дополнить систему любым аппаратом. К примеру, стационарная часть системы Smissline TP изготавливается в виде наборной панели шасси с уложенными в них шинами и разъёмами для подключения от 6 до 108 модулей (см. рис. 2). Таким образом, если применять это оборудование, на стадии проекта не нужно продумывать, какова будет конечная комбинация устройств, требуются ли для них вспомогательные сигнальные контакты и какое будет распределение нагрузки по фазам», — рассказывает Дмитрий Фомин.
Рис. 2. Процедура монтажа защитного аппарата на стационарную часть системы Smissline TP
Проблема 4. Необходимость постоянно контролировать состояние системы электропитания
Описание: Высокая отказоустойчивость сервисов достигается только при помощи дополнительного мониторинга, позволяющего предотвратить перегрузки сети и аварии.
«Контроль параметров электросети в режиме онлайн даёт возможность обслуживающему персоналу намного быстрее реагировать на предаварийные состояния электрооборудования, вовремя предотвращать отказы элементов системы и прогнозировать возможные проблемы электроснабжения в целом. При построении больших и сложных систем ЦОД мониторинг становится критически важным, поскольку позволяет свести к минимуму влияние человеческого фактора, а также уменьшить необходимое количество оперативно-технического персонала и обеспечить наибольшую оперативность в принятии решений. Применение системы контроля как минимум желательно, а в случае сложных систем — жизненно необходимо!» — считает Владислав Яковенко, руководитель отдела инфраструктурных проектов компании КОМПЛИТ.
Решение: Применение специальных систем измерения и контроля параметров электрической сети. «В 2012 году один из крупнейших операторов мобильной связи провел тестирование системы измерения токов отходящих линий для вторичного распределения энергии в одном из своих ЦОДов. Основываясь на результатах испытаний, был сделан вывод о возможности применения CMS от АББ для повышения отказоустойчивости и энергоэфективности систем энергоснабжения ИТ оборудования, — приводит пример Дмитрий Фомин. — Управляющий модуль системы измерения токов CMS поддерживает протокол Modbus RTU, с помощью которого передаются данные в системы диспетчеризации и управления. Миниатюрные датчики системы измерения токов совместимы со всеми компонентами серий Smissline TP и System ProM. Для их соединения с блоком управления используется единый шлейф с цифровым интерфейсом». По словам специалиста, важной особенностью модульной системы измерения токов CMS является то, что измерение токов производится непосредственно в цепях потребителей. Такое решение даёт возможность получать информацию даже о незначительных изменениях параметров электрической сети и прогнозировать вероятные поломки блоков питания оборудования или предотвращать срабатывания устройств, защищающих от перегрузок.
Рис. 3. Дистанционный контроль состояния электроустановок
Необычный дата-центр в Швейцарии3
В прошлом году IT-провайдер Green и технологический концерн ABB торжественно открыли новый центр обработки данных в Цюрихе. Общая мощность электроснабжения объекта составляет 1 МВт при площади 1100 кв. метров.
Основной особенностью дата-центра является наличие системы электропитания постоянного тока. Она была разработана специалистами концерна ABB при участии компании Validas DC Systems, специализирующейся на создании оборудования для ЦОДов.
Генеральный директор компании Green Франц Грутер заявил, что новая система распределения постоянного тока на 15% дешевле, чем аналоги с переменным током. «Внедрение 380-вольтной системы постоянного тока в нашем дата-центре – часть долгосрочной программы по оптимизации энергии, важный шаг к установлению новых стандартов в данной отрасли. При полной загрузке система обеспечит экономию электроэнергии до 20% при энергосбережении от сети до чипа и в системе охлаждения».
Для нового ЦОД были подготовлены специальные адаптированные серверы HP X1800 G2, DL 385 и BladeSystem c3000. Американский гигант Hewlett-Packard заявил, что данный шаг стал началом нового этапа, на котором компания начнёт активно предоставлять оборудование для работы с высоковольтной сетью постоянного тока.
Швейцарский дата-центр имеет коэффициент энергоэффективности 1,04 и уровень надёжности Tier III.
Компания АВВ ранее применяла данную технологию в других промышленных областях и теперь планирует создать системы на постоянном и переменном токе для ЦОД. Глава отдела низковольтного оборудования компании АВВ Тарак Мехта заявил, что дата-центр компании Green будет показательной площадкой.
Российский опыт. В октябре 2009 года Республика Татарстан завершила строительство технопарка в сфере высоких технологий «ИТ-парк».
Объект расположен в самом центре столицы Татарстана — Казани. Общая площадь комплекса составляет примерно 32 000 кв. м и включает в себя 5-этажное офисное здание, а также два прилегающих 2-этажных строения.
Ядро всей инфраструктуры «ИТ-парка» в сфере высоких технологий — дата-центр, являющийся площадкой для обслуживания серверного и коммуникационного оборудования клиентов.
ЦОД соответствует уровню надёжности Tier 3 с общей подведённой мощностью 5 МВт и спроектирован для работы в непрерывном режиме. Площадь по фальшполу составляет 1000 кв. м, что позволяет установить 294 стойки со средним энергопотреблением от 4 до 8 кВА на каждую. «Для достижения столь высокого класса надёжности и создания масштабируемой системы в ЦОД «ИТ-парка» было установлено оборудование Smissline TP нашей компании. Это позволяет дата-центру снизить затраты клиентов на построение собственной ИТ-инфраструктуры, а также обеспечить непрерывную работу всех серверов партнёров», — рассказывает Дмитрий Фомин.
Согласно данным независимой организации по исследованию ЦОД Uptime Institute®4 за 2012 год, в России функционирует лишь несколько дата-центров, сертифицированных по классу Tier 3, наибольшее количество ЦОД относится к уровням Tier 1 и Tier 2. Однако следует понимать, что только высокий уровень надёжности дата-центров является гарантом успешной и бесперебойной работы информационных систем предприятия. Можно взять пример с европейцев, которые не скупятся на применение инноваций в бизнесе и в итоге только выигрывают, ведь затраты на оборудование несопоставимы с финансовыми потерями в случае простоя систем.
По материалам компании АББ
1 Резервирование — метод повышения характеристик надёжности технических устройств или поддержания их на требуемом уровне посредством введения аппаратной избыточности за счёт включения запасных (резервных) элементов и связей, дополнительных по сравнению с минимально необходимым для выполнения заданных функций в данных условиях работы.
2 Power usage Effectiveness — отношение всей потребляемой инфраструктурой ЦОД электроэнергии к потреблению ИТ нагрузки. Обычно ЦОД имеют показатель PUE не менее 2.
