Правила монтажа серверного оборудования

Техническая документация

разработка техдокументации по ГОСТ

Серверная комната (аппаратная) по ГОСТ Р 58242-2018

Серверная комната (аппаратная) по ГОСТ Р 58242-2018

Общие положения

Серверные комнаты (аппаратные) отличаются от телекоммуникационных комнат в основном тем, что они предназначены для размещения большого количества крупных единиц активного телекоммуникационного оборудования. Серверные комнаты могут также совмещать функции телекоммуникационных комнат и точки внешнего подключения. Серверная комната предоставляет среду с контролируемыми параметрами, служащую для установки активного телекоммуникационного оборудования, коммутационного оборудования, муфт, элементов системы заземления и выравнивания потенциалов и средств защиты.

Основным назначением серверной комнаты является обеспечение специально оборудованного пространства для терминирования кабелей магистральной подсистемы СКС на коммутационном оборудовании главного коммутационного центра и коммутационных центров здания (магистрального коммутационного центра).

В серверной комнате может располагаться этажный коммутационный центр, обслуживающий рабочие места пользователей, расположенные на одном этаже с серверной комнатой. Кроме того, в серверной комнате могут находиться точка разграничения и средства защиты внешних линий [из п. 6.1 ГОСТ Р 58242-2018]

Кабельная система серверной комнаты (аппаратной)

Серверная комната обеспечивает средства для администрирования и трассировки аппаратных кабелей и шнуров, соединяющих коммутационные центры с активным телекоммуникационным оборудованием.

Кабели горизонтальной и магистральной подсистем должны быть терминированы в серверной комнате на коммутационном оборудовании, отвечающем требованиям производителей кабельных систем и коммутационного оборудования. Перемещение точек терминирования кабелей горизонтальной и магистральной подсистем СКС в серверной комнате с целью внесения штатных изменений в схему коммутации запрещено. Для подобных целей следует использовать коммутационные и аппаратные шнуры [из п. 6.2 ГОСТ Р 58242-2018]

Телекоммуникационные трассы и пространства

Серверная комната является местом централизованного расположения активного телекоммуникационного оборудования (такого, например, как УАТС, вычислительные комплексы, коммутаторы видеосистем). Рекомендуется располагать серверную комнату как можно ближе к центру обслуживаемого ею здания.

Пространство серверной комнаты должно быть предназначено только для обеспечения работы информационных, телекоммуникационных систем и сопутствующих им сервисных систем. Запрещено размещать в серверной комнате оборудование систем электроснабжения, не относящихся к телекоммуникационным системам, и оборудование посторонних инженерных систем здания (например, систем водоснабжения, управления микроклиматом здания и т.п.).

Допускается располагать в серверной комнате оборудование систем контроля и управления микроклиматом и источники бесперебойного питания (ИБП) мощностью до 100 кВА, обслуживающие телекоммуникационное оборудование, установленное в серверной комнате, ИБП с мощностями свыше 100 кВА должны быть расположены в отдельных помещениях [из п. 6.3 ГОСТ Р 58242-2018]

Оборудование помещения

Оборудование серверной комнаты должно соответствовать ГОСТ Р 58241. Полы, стены и потолки в аппаратных рекомендуется обрабатывать средствами, препятствующими оседанию и накоплению пыли.

Доступ в серверную комнату является свободным только для авторизованного персонала, потому с целью ограничения доступа следует избегать использования дверей серверной комнаты для прохода через нее в другие помещения здания.

Для обслуживания серверной комнаты рекомендуется обеспечить выделенный источник питания от отдельного электрического щита. Требования к системе электроснабжения серверной комнаты определяют в зависимости от мощности, потребляемой активным оборудованием и вспомогательными системами, а также наличием специфических потребностей, установленных производителем используемого оборудования.

В серверной комнате должны быть обеспечены меры по защите оборудования от воздействия загрязняющих веществ, способных отрицательно влиять на работу установленного в ней оборудования и свойства материалов, входящих в его конструкцию. В случае превышения уровней концентрации загрязняющих веществ в воздухе серверной комнаты свыше максимально допустимых пределов, приведенных в таблице 1, должны быть применены такие меры, как пароизоляция, избыточное давление или абсолютные фильтры.

Таблица 1 — Предельно допустимые уровни содержания загрязняющих веществ в воздухе серверной комнаты

Источник

Как избежать ошибок при создании серверной?

Источник: getty image

Несмотря на массовую миграцию бизнеса в облака остаются компании, руководство которых следует стратегии «всё своё ношу с собой», по различным причинам не доверяя свои вычислительные мощности сторонним дата-центрам. Однако оборудование собственного серверного помещения — не настолько простая задача, как считают многие лица, принимающие решения. В этом посте мы расскажем об ошибках, которые допускаются при самостоятельном проектировании и реализации серверного помещения.

Как ни парадоксально, ошибки при проектировании серверных допускают не только небольшие компании, но и крупные организации. Причина до смешного проста: стремление сэкономить ИТ-бюджет, особенно когда речь идёт об оснащении региональных подразделений. В результате вместо серверной получаются весьма оригинальные сооружения, даже отдалённо не похожие на место, в котором можно без опаски разместить дорогостоящее оборудование, обеспечивающее работу всех сотрудников.

Три главных составляющих надёжной серверной — это правильное помещение, качественная система управления климатом и надёжное электроснабжение. Рассмотрим, какие ошибки встречаются в процессе проектирования и реализации этих компонентов, к каким последствиям они приводят и как их избежать.

Ошибки при выборе помещения

1. Близкое соседство с водой и другими жидкостями

Если в здании организации имеется подвал, то с большой вероятностью именно его предложат использовать для оборудования серверной. Это кажется оптимальным решением по всем показателям:

• аренда подвала стоит меньше, чем полноценные офисные площади,
• шум оборудования никому не будет мешать,
• сотрудники ИТ-отдела не будут нарушать благопристойную атмосферу офиса и распугивать клиентов разбросанными железками и потёртыми мятыми футболками.

Однако именно в подвале проходят водопроводные трубы и канализационные стояки. А в случае, если авария случится на верхних этажах, именно в подвал польётся вода из лопнувшей батареи или блока системы центрального кондиционирования.

Серверная в филиале крупного федерального банка располагалась в подвале, в который вёл обычный лестничный пролёт. Когда в одном из кабинетов на первом этаже прорвало блок подогрева воды в системе центрального кондиционирования, хлынула масса воды, которая залила весь первый этаж, а затем стекла в подвал. Слой воды в подвале достигал 50 см. Пострадали два сервера, размещённые на нижних «этажах» забитой до отказа стойки. Чтобы откачать воду, пришлось срочно купить два насоса, а затем просушивать помещение.
Благодаря тому, что авария произошла после обеда в пятницу, за выходные удалось проветрить помещение и уже в понедельник вернуться к почти нормальной работе.

Отсюда рекомендация № 1: выбирайте для серверных только сухие помещения, в которые не может проникнуть вода и/или другие жидкости.

2. Игнорирование нагрузки на перекрытия

В зависимости размещаемого оборудования масса полностью загруженной стойки или шкафа 42U может доходить до 1000 кг. Если таких шкафов несколько, нагрузка на перекрытия может превысить максимально допустимую. Особенно этот параметр критичен для старых зданий, прочность перекрытий в которых может оказаться значительно ниже, чем требуется для безопасного размещения оборудования.

Рекомендация № 2: прежде чем утверждать помещение для серверной, уточните массу имеющегося оборудования и прочность перекрытий.

3. Выбор помещения «оригинальной» формы

Выбирая помещение для серверных, следует учитывать следующие факторы

• количество и глубину имеющихся стоек,
• перспективу расширения компании и увеличения количества оборудования,
• необходимость доступа к стойкам с лицевой и задней стороны для проведения обслуживания,
• необходимость достаточного пространства для циркуляции воздуха.

Если не учесть эти факторы, может оказаться, что ИТ-сотрудники не могут подступиться к стойкам, новое оборудование некуда установить, а кабельное хозяйство на коммутационной панели превратилось в ад сисадмина.

Управляющий филиала федерального банка увлекался фэн-шуем, поэтому настоял, чтобы серверная, расположенная напротив его кабинета, не имела обращённых в сторону его стола углов. В результате одна стена серверной была сделана полукруглой. Площадь помещения соответствовала техническому заданию, однако разместить в нём всё имеющееся оборудования удалось с трудом. А когда потребовалось организовать работу ещё 50 человек, принятых в результате расширения бизнеса, в серверной наступил апокалипсис:

Серверная банка выглядела даже не так, а ещё хуже, хотя кажется, что хуже — некуда. Источник фото: AliaDen / reactor.cc

Ещё один похожий случай произошёл в другом филиале этого же банка. У ИТ-отдела запросили площадь, которую занимает серверная стойка, и количество этих стоек. В итоге вместо нормальной серверной получилась «кишка» шириной в глубину стойки плюс 90 см для того, чтобы мог пройти человек. В таком виде серверная просуществовала около двух лет, пока в филиал не приехал внутренний аудит и не выписал грозное предписание.

И тут рекомендация № 3: определяя площадь серверной, разместите на плане стойки и другое оборудование с учётом будущего расширения и не соглашайтесь на компромиссы с руководством, особенно если речь идёт об «оригинальных» дизайнерских решениях.

Ошибки в системе кондиционирования и вентиляции

1. Использование бытовых кондиционеров

Многие руководители искренне считают, что для охлаждения серверной вполне уместно будет поставить в неё бытовой кондиционер — главное, выбрать модель известного производителя, а для надёжности поставить не одну «голову», а две, чтобы включать их по очереди, давай им «отдыхать».

Однако бытовые сплит-системы не рассчитаны на работу в режиме 24×7×365, поэтому через относительно небольшое время могут выйти из строя. Кроме того, они не могут направить поток холодного воздуха в «горячую» область, что значительно снижает эффективность охлаждения.

Ещё одна проблема с бытовыми кондиционерами — невозможность подключить их к системе мониторинга температуры. Это исключает возможность управления микроклиматом в серверной в соответствии с заданными параметрами.

В полукруглой серверной, о которой мы писали выше, поставили два бытовых кондиционера. Каждое утро сотрудник хозяйственного отдела заходил в серверную, выключал один из них на «отдых» и включал другой. Такая бережливость не помогла: кондиционеры проработали около года, после чего один за другим «умерли». Вместо них в конце концов был установлен прецизионный промышленный кондиционер с вменяемой системой управления.

Рекомендация № 4: никогда не пытайтесь сэкономить на серверной, используя бытовые кондиционеры. Даже если руководство настаивает, приложите максимум усилий, чтобы не допустить такого решения.

2. Использование централизованной системы вентиляции для охлаждения серверной

Ещё одно «гениальное» решение — это попытка использовать для охлаждения серверной централизованную систему кондиционирования. Такое решение имеет ещё меньше права на существование, поскольку охлаждение в ней работает лишь при ограниченном диапазоне температур, а на ночь систему охлаждения отключают для экономии электричества, поэтому охладить воздух в серверной в это время не удастся.

И снова тот же филиал банка, та же полукруглая серверная. И чилер системы централизованного кондиционирования, нависший над серверной стойкой. Его повесили, чтобы «подстраховаться» от отказа бытовых сплитов. В один совсем не прекрасный день из чилера стала капать вода. Прямо на стойку с коммутаторами. К счастью, это началось, когда в серверной работали сотрудники ИТ, поэтому они успели накрыть стойку плёнкой, так что оборудование не пострадало.

Рекомендация № 5 будет примерно такой же, как и относительно бытовых сплит-систем: централизованная система кондиционирования офиса ни при каких условиях не подойдёт для охлаждения серверной.

Ошибки организации бесперебойного электропитания

1. Использование простых ИБП на всех участках инфраструктуры

Стремление сэкономить приводит к тому, что некоторые компании закупают большую партию недорогих ИБП мощностью 500-1000 В·А и использует их не только на рабочих местах, но и для серверных стоек. Управлять такой армией бесперебойников крайне сложно, особенно при большом количестве рабочих мест. Обеспечить надежную работу таких ИБП также невозможно, особенно когда скачки напряжения — частое явление.

Уже полюбившийся вам экономный филиал банка и тут отличился: на рабочие места приобрели недорогие неуправляемые ИБП на 500 В·А, а для серверной «расщедрились» аж на устройства в 1000 В·А. Поскольку из экономии покупали не рэковые модели источников, силами сотрудников хозяйственного отдела пришлось соорудить стеллаж, на который расставили ИБП в «бытовом» исполнении. Установили его пришлось между двумя стойками, чтобы хватало длины проводов. Работало это, мягко говоря, ненадёжно, поскольку никто не озаботился тем, чтобы рассчитать максимальную нагрузку на каждый ИБП. Мощности просто не хватало, поэтому через несколько секунд после отключения электричества сервера в стойках вырубались.

Рекомендация № 6: в серверных нельзя использовать дешёвые резервные ИБП — отказы серверов, простои и потеря данных обойдутся значительно дороже такой «экономии»

2. Недостаточная номинальная мощность ИБП

При перегрузке ИБП переключается на цепь внутреннего статического байпаса (обходной линии), поэтому нагрузка становится незащищенной как от низкого качества входного электропитания, так и от пропадания этого самого входного электропитания – что создает дополнительные риски потери данных или выхода из строя компонентов инфтраструктуры.

Рекомендация № 7: чтобы ИБП обеспечивал работу подключённого оборудования, максимальная нагрузка на него не должна превышать 80% от номинала. Это значит, что ИБП номинальной мощностью 50 кВ·А рекомендуется нагружать не более, чем на 40 кВ·А.
В стойки можно ставить однофазные линейно-интерактивные устройства, но для централизованной системы придётся выбирать между трёхфазными решениями с двойным преобразованием электроэнергии. Этот вариант надёжнее, но дороже.

3. Неправильный выбор схемы организации бесперебойного электропитания
На этапе проектирования серверной следует определиться с тем, каким образом будет организовано бесперебойное электроснабжение. Если не решить этот вопрос заранее, исправление ошибок может привести к значительным затратам и простоям.

Рекомендация № 8 будет несколько объёмнее предыдущих. Чаще всего встречаются три варианта организации бесперебойного питания:

• централизованная схема предполагает установку одного или нескольких мощных трёхфазных ИБП и подключение к ним потребителей через устройства и системы распределения электроэнергии;
• в распределённой схеме для однотипных и расположенных рядом потребителей устанавливают отдельные ИБП небольшой мощности (в небольших серверных ИБП устанавливаются прямо в стойках);
• комбинированная схема предусматривает, что к централизованным ИБП первого уровня добавляются дополнительные ИБП для самых важных участков инфраструктуры и потребителей.

Распределённая схема сложнее в управлении и не позволяет эффективно использовать мощность отдельных ИБП. Резервирование в ней обычно реализуется по схеме 2N — два ИБП на стойку.

Более высокие начальные затраты на модульность целесообразны только в конфигурациях с резервированием. Здесь все зависит от индивидуальных потребностей.

В линейке продукции Eaton имеются специализированные ИБП, которые эффективно решают задачу организации бесперебойного питания серверного оборудования для среднего и малого бизнеса: модель Eaton 5PX — линейно-интерактивный ИБП на 2200 В·А с КПД до 99%, предназначенный для защиты серверов и сетевого оборудования, систем хранения данных и VoIP. Фото: Eaton

Превращаем уникальность в унификацию

Каждая серверная имеет свою уникальную историю, несмотря на стремление интеграторов и проектировщиков реализовать унифицированные проекты. Мы разобрали типичные ошибки проектирования серверных и привели рекомендации, которые позволят избежать неприятных последствий.

Для тех, кому интересно, расскажем под конец, чем закончилась история с филиалом банка. Филиал переехал в другое здание и разместился на трёх этажах. Просторная серверная с автоматической системой управления климатом разместилась на втором этаже. По соседству с серверной было выделено отдельное помещение для централизованного модульного ИБП, а в подвале смонтировали дизель-генераторную установку с автоматическим запуском в случае отключения питания. Не сказать, что всё сделано идеально, но пять лет мучений с неправильно спроектированной серверной многому научили и руководство, и сотрудников. Старое помещение филиала занял другой банк. Как он распорядился полукруглым помещением, нам выяснить не удалось.

Источник