Серверна кімната за стандартами: Охолодження, живлення та контроль доступу

Спроєктувати серверну - це не просто розставити шафи в кімнаті з кондиціонером. Помилилися з розрахунком навантаження на перекриття чи обрали не той холодоагент? Готуйтеся до каскадних відмов усієї інфраструктури. Далі - суто технічний зріз того, як будувати серверну кімнату (Server Room) за стандартами TIA-942, EN 50600 та ASHRAE. Без води. Тільки те, що формує відмовостійке та прогнозоване середовище.

Архітектурно-будівельний базис: Геометрія та фізика приміщення

Надійність починається ще до монтажу першої стійки. Приміщення має працювати як фізичний щит від вогню, води, пилу чи електромагнітних перешкод. І, звісно, тримати колосальну вагу.

Які вимоги до несучої здатності та конструктиву підлоги?

За вимогами TIA-942, перекриття мусить тримати розподілене навантаження від 7.2 кПа (близько 730 кг/м²), а точкове - не менше 1.2 кПа. Чому такі цифри? Повністю "забита" серверна шафа 42U з high-density серверами та ДБЖ легко перетинає позначку в 1200 кг. Якщо базові плити будівлі цього не тягнуть, доведеться ставити розвантажувальні рами - вони розподіляють вагу від ніжок по більшій площі.

Маєте більше 5-7 стійок або плануєте ховати під низ траси охолодження й кілометри міді? Потрібна фальшпідлога (Raised Floor). Стартуємо від 300 мм. Якщо ж під підлогою подаватиметься холодне повітря, закладайте 450-600 мм, інакше просто не створите потрібний статичний тиск. Плити беремо виключно з антистатичним покриттям. Звичайна статика від тертя взуття тут може обійтися надто дорого.

Чому гідроізоляція та вогнестійкість є критичними параметрами?

Формуємо герметичний контур. Стіни - з межею вогнестійкості EI 60 (година збереження цілісності та теплоізоляції). Двері - EI 30 або ті ж EI 60. Де часто помиляються, так це на вводах кабельних трас. Жодної будівельної піни. Тільки спеціальні вогнестійкі проходки. Піна згорить за хвилини і пропустить дим у чисту зону.

Транзитні труби (вода, каналізація, опалення) над серверами категорично заборонені. Стелю й підлогу гідроізолюємо, щоб не затопили нас зверху, а ми - не залили сусідів знизу, якщо раптом спрацюють спринклери будівлі. На вході робимо поріжок 10-15 см або ставимо герметичні двері. По суті, кімната має перетворитися на водонепроникну "ванну".

Термодинаміка та охолодження

Завдання кондиціонерів у ЦОД - не просто дути холодом. Вони мають постійно евакуювати теплову енергію від процесорів (Sensible Heat), тримаючи задану Delta T та вологість. Фізика проста: кожен спожитий Ват електрики стає теплом. Його треба забрати.

Чому побутові спліт-системи заборонені в серверних?

Звичайна спліт-система спроєктована для видалення вологи та охолодження людей (Latent Heat). Її SHR (Sensible Heat Ratio) десь 0.60–0.70. Тобто до 40% електроенергії ви спалите на марне осушення повітря. Прецизійні машини (CRAC/CRAH) з SHR 0.90–1.0 пускають майже 100% потужності саме на охолодження заліза. Додайте сюди відсутність "зимових комплектів" (спробуйте запустити побутовий спліт при -20°C), неможливість тримати температуру з точністю до градуса і мізерний ресурс. Побутовик помре за 3-5 років режиму 24/7. Промислова система житиме 10-15.

Як розрахувати необхідну потужність охолодження (BTU/h)?

Рахуємо просто: конвертуємо електричну потужність у теплову, де 1 Ват = 3.412 BTU/h.

Формула:Total Cooling (BTU/h) = (Total IT Load (W) + UPS Losses (W) + Lighting (W)) × 3.412.

На практиці це виглядає так. Стійка на 5 кВт видасть 17,060 BTU/h. Щоб це охолодити, знадобиться десь 1.5 холодильні тонни (Refrigeration Ton ≈ 12,000 BTU/h). Але ніколи не беріть обладнання впритул. Завжди закладайте коефіцієнт 1.2-1.3. Приміщення все одно грітиметься через стіни, а ви рано чи пізно доставите нові сервери.

Яка стратегія організації повітряних потоків (Containment) найефективніша?

Якщо поставити стійки як заманеться, гарячий вихлоп перемішається з холодним припливом. Мінус 30-50% ефективності кондиціонування одразу. Де-факто стандартом виступає лише чіткий поділ на Гарячі (Hot Aisle) та Холодні (Cold Aisle) коридори.

• Ізоляція холодного коридору (CAC): Класика для модернізації старих серверних. Закриваємо двері та дах перед серверами - отримуємо такий собі "басейн" холоду. Мінус підходу в тому, що решта кімнати перетворюється на сауну.
• Ізоляція гарячого коридору (HAC): Більш грамотне рішення з точки зору термодинаміки. Ми капсулюємо гаряче повітря позаду серверів і трубами (або через фальшстелю) відводимо одразу в кондиціонер. Вся кімната лишається прохолодною. Якщо охолодження раптом "впаде", більший об'єм холодного повітря в приміщенні дасть вам цінні хвилини на реакцію.

Система електроживлення

Якість струму і його постійна наявність. Дві базові речі, які ми закриваємо каскадом: міська мережа -> АВР -> Генератор -> ДБЖ -> PDU -> Блок живлення сервера.

Яку топологію ДБЖ обрати: Online vs Line-Interactive?

Для IT-навантажень варіант лише один - ДБЖ з подвійним перетворенням (Online Double Conversion / VFI). AC йде в DC (зарядка батарей), а потім інвертується назад у чистий AC. Що це дає на практиці:

• Нульовий час перемикання (0 ms). Це критично. Сучасні імпульсні блоки можуть піти в ребут від розриву синусоїди на 10-20 мс (а саме так працюють Line-Interactive).
• Ідеальну синусоїду. Залізо повністю захищене від перекосів фаз, стрибків та гармонійних спотворень іззовні.
• Frequency Conversion. Коли дизель-генератор видає нестабільну частоту, ДБЖ вирівнює її, не переходячи зайвий раз на батареї.

Роль заземлення згідно з TIA-607

Звичайного жовто-зеленого дроту (PE) для серверної мало. За стандартом TIA-607-C потрібен окремий телекомунікаційний контур. Серце системи - TMGB (Telecommunications Main Grounding Busbar). Це масивна мідна шина, куди зводиться буквально все металеве:

• Корпуси шаф.
• Кабельрости та лотки.
• Стійки фальшпідлоги.
• Шасі активного обладнання.

Так ми вирівнюємо потенціали. Жодних блукаючих струмів, які випалюють мережеві порти, і нуль ризиків для інженера, який випадково взявся за металеву стійку.

Кабельна інфраструктура

Десь 70% усіх мережевих проблем - це фізика (поганий контакт, перебитий лінк). Нормальна СКС за стандартами ISO/IEC 11801 чи TIA-568 знімає цей головний біль на роки вперед.

Організація СКС: Мідь та Оптика

Всередині шафи чи між сусідніми стійками кладемо мідь - мінімум Cat6a. Вона стабільно тримає 10G на ста метрах і добре екранована від завад. Для магістралей і швидкостей 40/100 Gbps мідь уже не підходить. Тут працює багатомодова оптика OM4 або OM5 з конекторами MPO/MTP. Один клік - і ви скросували одразу 12 чи 24 волокна.

Вимоги до прокладання (Cable Management)

Силу і дані завжди розносимо. В ідеалі - по різних лотках або ставимо фізичний сепаратор, щоб уникнути наведення. Якщо екранування немає, тримайте мінімум 200 мм дистанції між силовою (220В) та інформаційною трасами.

Радіус вигину: Мідь не можна гнути більше ніж на 4 її діаметри, оптику - на 10-20. Заломили кабель - змінили його геометрію. Змінили геометрію - поплив імпеданс, почалися втрати пакетів.

Безпека та моніторинг

Серверна - це режимна зона. Тут працює принцип "Defense in Depth" (багаторівневий захист).

Контроль доступу та "Правило двох осіб"

Ключ у дверях не працює. Ставимо СКУД із жорстким логуванням. Зазвичай впроваджують 2FA (двофакторку): картка + біометрія. Обов'язково налаштовуємо Anti-Passback. Це не дасть змоги "пропікати" картку, передати її колезі і зайти вдвох - система просто заблокує другий прохід.

Пожежогасіння: Novec 1230 як золотий стандарт

Вода зі спринклерів будівлі врятує стіни, але вб'є обладнання. Тому всередині працює лише газ. Зараз індустріальний стандарт - це Novec 1230 (фторкетон). Чому він, а не FM-200 чи аерозолі?

• Не коротить плати. Це діелектрична рідина, яка миттєво випаровується. Залишити осад вона фізично не здатна.
• Екологія. GWP (потенціал глобального потепління) дорівнює одиниці. Розпадається в атмосфері за кілька днів.
• Люди. Робоча концентрація газу значно нижча за небезпечний для людини поріг. Евакуюватися можна без паніки прямо під час скидання газу.

Моніторинг середовища (EMS)

Не бачите, що відбувається в кімнаті - чекайте аварії. Що обов'язково заводимо на EMS (Environmental Monitoring System):

• Температуру/вологість. Датчики ставимо на припливі до стійки (низ, середина, верх), щоб ловити локальні зони перегріву.
• Протікання. Сенсорний кабель кидаємо по периметру та під блоками кондиціонерів.
• Живлення. Знімаємо вольтаж з ДБЖ, дивимось залишок батарей та навантаження по лініях PDU.

Всі метрики збираємо по SNMP або Modbus у DCIM-консоль. Задаємо тригери: якщо параметр виходить за норму - черговий інженер одразу отримує алерт.

У фіналі все зводиться до економіки. Вартість простою (Cost of Downtime) легко може вимірюватися тисячами доларів за хвилину, що робить витрати на правильне проєктування інфраструктури незначними на фоні потенційних збитків. Стандарти на кшталт TIA-942 - це не бюрократія, а технічне страхування бізнесу від непередбачуваних відмов.