Различия

Здесь показаны различия между двумя версиями данной страницы.

Ссылка на это сравнение

articles:mb4srv [2017/09/05 02:55] (текущий)
Строка 1: Строка 1:
 +====== mb4srv ======
 +<​sub>​{{mb4srv.odt|Original file}}</​sub>​
 +
 +====== выбор правильной материнской платы\\ и жестких дисков для сервера ======
 +
 +крис касперски ака nezumi, no-email
 +
 +**как среди тысяч материнских плат и сотен наименований жестких дисков выбрать модели,​ наилучшим образом подходящие для сервера****?​**** при достаточно скудном бюджете?​ "​промышленные"​ сервера от крупных производителей — не предлагать,​ они просто не стоят тех денег, которые за них просят и при достаточном опыте общения с железом,​ надежный сервер можно собрать и самостоятельно. вот об этом самом опыте (удачных находках,​ досадных ошибках и неожиданных разочарованиях) мыщъх и собирается рассказать**
 +
 +===== введение =====
 +
 +По существу,​ сервер — это обыкновенный ПК с операционной системой типа Windows/​Linux/​BSD и набором программного обеспечения типа IIS/​Abyss/​War-FTP/​Apache/​Sendmail. Не секрет,​ что большинство "​серверов",​ стоящих на витринах компьютерных магазинов,​ собираются местными умельцами при помощи мата и молотка (молоток используется для "​закручивания"​ болтов по технологии "​turbo"​). Естественно,​ качество продукции оставляет желать лучшего,​ а "​настоящие"​ сервера от Sun, Dell и HP далеко не каждому по карману,​ особенно если это приватный ftp, не приносящий никакой выгоды и "​подпитываемый"​ одним лишь энтузиазмом.
 +
 +Собрать нормальный сервер из "​ширпотребных"​ компонентов — вполне реально,​ главное не забывать,​ что в отличии от обычных компьютеров,​ сервер ориентирован на круглосуточную работу,​ поэтому,​ требования к надежности комплектующих намного выше. Широко распространенное заблуждение гласит,​ что брэндовое имя на стикере автоматически гарантирует надежность,​ избавляя нас от проблем,​ присущих дешевым моделям. Однако,​ даже если мы имеем дело с подлинным брендом (а не с грубой подделкой под него), надеяться,​ на "​магические свойства"​ громкого имени, право же, слишком наивно и чтобы не попасть впросак,​ потребитель должен знать, чем хорошая материнская плата _визуально_ отличается от плохой.
 +
 +Другой важнейший компонент системы — жесткие диски, от которых зависит буквально все, но… оценить сколько проработает тот или иной винчестер не так-то просто! Остается либо слепо верить рекламе,​ либо… обратиться за советом к специалистам,​ любезно предоставивших журналу эксклюзивную информацию,​ которой не располагает никто другой. Но не будем забегать вперед. До жестких дисков мы еще доберемся… после того, как разберемся с материнскими платами,​ разорвав их в пух и прах.
 +
 +{{mb4srv_Image_0.jpg}}
 +
 +Рисунок 1 внутри домашнего сервера
 +
 +===== электронная оснастка =====
 +
 +Берем материнскую палату в руки и смотрим:​ если на северном мосте (такая большая микросхема,​ соседствующая с процессором) установлен вентилятор,​ посылаем ее в /dev/nul, не дожидаясь пока вентилятор выйдет из строя (а он обязательно выйдет,​ причем достаточно скоро),​ вызывая перегрев серверного моста и дикие глюки, зачастую сопровождающиеся потерей данных. Причем,​ учитывая тенденцию производителей использовать нестандартные вентиляторы,​ "​реанимация"​ платы из тривиальной операции по пересадке "​карлсона"​ превращается в серьезную инженерную задачу,​ требующую навыков работы с металлом. Лучше всего выбирать модели с пассивным охлаждением,​ то есть с радиатором без вентилятора.
 +
 +{{mb4srv_Image_1.jpg}}
 +
 +Рисунок 2 материнская плата с активным охлаждением северного моста — это плохая материнская плата, особенно если используется "​фирменный"​ вентилятор нестандартного типа
 +
 +Однако,​ тут есть один подвох — крошечный радиатор,​ установленный на двухсторонний скотч (который сам по себе является весьма неплохим теплоизолятором) навряд ли обеспечит бесперебойную работу сервера в режиме 24/7. Наличие двухстороннего скотча выдает отсутствие следов крепления радиатора к плате, ну а массивность радиатора приходится оценивать на глаз. Естественно,​ пассивное охлаждение легко превратить в активное,​ закрепив вентилятор на шарикоподшипниках (снятый с процессорного радиатора),​ однако,​ к чему извращаться,​ если можно сразу купить нормальную плату?​!
 +
 +{{mb4srv_Image_2.jpg}}
 +
 +Рисунок 3 материнская плата с пассивным охлаждением. отсутствие следов крепления выдают двухсторонний скотч, которым приклеен крошечный радиатор и который,​ естественно,​ не может обеспечить надлежащего охлаждения
 +
 +{{mb4srv_Image_3.jpg}}{{mb4srv_Image_4.jpg}}
 +
 +Рисунок 4 примеры хороших материнских плат с пассивным охлаждением северного моста, обеспечиваемо массивным радиатором,​ закрепленным на пружинящим прижимом и смазанного (как правило) термопастой
 +
 +Разобравшись с серверным мостом (на южный мост радиатор практически никогда не ставится,​ однако,​ если он там установлен — это просто замечательно),​ рассмотрим что за конденсаторы стоят в цепях питания и главное — где именно они стоят? В грубом приближении все конденсаторы (электролитические) можно разделить на два типа: алюминиевые и танталовые (tantalum capacitor).
 +
 +Танталовые значительно лучше алюминиевых:​ они обладают значительно меньшим эквивалентным последовательным сопротивлением (ESR), способны работать при повышенных температурах,​ менее болезненно относятся к неотфильтрованной высокочастотной составляющей и не вздуваются когда MOSFET'​ы уходят в утечку. Стоят они намного дороже алюминиевых и устанавливаются только в высококачественные материнские платы — такие маленькие "​бочоночки"​ с синей или черной полоской на верхушке (см. рис. 8,​ 9). Маркировку танталовых конденсаторов легко найти в любом каталоге электронных компонентов.
 +
 +{{mb4srv_Image_5.png}}
 +
 +Рисунок 5 устройство танталового конденсатора
 +
 +Желательно,​ чтобы танталовые конденсаторы располагались как можно дальше от всевозможных источников тепла: радиаторов процессора и серверного моста, MOSFET'​ов и т. д. А вот для их алюминиевых собратьев это требование _обязательно_ и конденсатор расположенный вплотную к процессору спустя короткое время начнет "​подсыхать",​ вызывая сбои операционной системы,​ источник которых очень трудно обнаружить.
 +
 +{{mb4srv_Image_6.jpg}}
 +
 +Рисунок 6 внутри кристалла MOSFET'​а
 +
 +Поскольку,​ высокочастотные импульсы,​ вызывают нагрев электролитических конденсаторов (особенно алюминиевых) они шунтируются керамическими (такие плоские "​квадратики"​ размером со спичечную головку). Ошибка большинства производителей состоит в том, что они жадничают и кладут керамики меньше,​ чем нужно. С хорошим БП такая плата может проработать и год и два без всяких нареканий,​ но вот с плохим… может сдохнуть задолго до окончания гарантии,​ причем все это время сервер будет колбасить по полной программе. Короче,​ чем больше керамики положено вокруг электролитов — тем лучше.
 +
 +
 +
 +{{mb4srv_Image_7.jpg}}
 +
 +Рисунок 7 плохая материнская плата с MOSFET'​ом "​выгоревшем"​ от перегрева и дешевыми алюминиевыми электролитическими конденсаторами
 +
 +{{mb4srv_Image_8.jpg}}
 +
 +Рисунок 8 отличная материнская плата с MOSFET'​ами,​ посажанными на массивные радиаторы,​ танталовыми конденсаторы и большим количеством "​керамики"​
 +
 +{{mb4srv_Image_9.jpg}}
 +
 +Рисунок 9 танталовые конденсаторы — это хорошо,​ MOSFET'​ы с жидкостным охлаждением явный перегиб и риск утечки,​ а малое количество керамики — это уже нехорошо,​ так что данная материнская плата относится к категории среднего качества и для сервера не рекомендуется
 +
 +Здесь же обычно устанавливаются электронные ключи (они же — MOSFET'​ы),​ подключенные к преобразователю постоянного тока (в смысле — к стабилизатору) и запитывающие процессор,​ память,​ серверный мост, видео-карту и прочих потребителей. Естественно,​ MOSFET'​ы сильно греются (да так, что притронувшись к ним, можно обжечься),​ а нагреваясь,​ постепенно изменяют свои параметры (кристалл деградирует,​ что поделаешь!) и уже не могут обеспечить надлежащего качества стабилизации. Современные процессоры потребуют столько энергии,​ что приходится использовать многоканальные преобразователи,​ причем,​ чем больше каналов (и, соответственно,​ MOSFET'​ов),​ тем лучше. Крайне желательно,​ чтобы на MOSFET'​ах были установлены хотя бы крохотные радиаторы. Если об этом не позаботился производитель,​ комплект радиаторов легко приобрести и самостоятельно (их выпускают многие фирмы, например,​ тот же Zalman). Это не только продлит жизнь материнской платы, но и предотвратит возможные сбои сервера,​ так что затраченные усилия стоят того.
 +
 +===== интегрированные компоненты и драйвера =====
 +
 +Интеграция в каком-то смысле великолепная вещь. Вместо того, чтобы приобретать кучу контроллеров по отдельности,​ гораздо проще взять материнскую плату, уже несущую на своем борту все необходимое. Однако,​ в стремлении удешевить свою продукцию,​ производители зачастую используют отстойные чипы, в результате чего мы имеем "​как бы" работающий RAID, тормозной гигабитный Ethernet и прочие "​прелести",​ уступающие PCI-контроллерам по всем параметрам,​ важнейшим из которых является совместимость с Linux/BSD системами. Можно, конечно,​ воздвигнуть сервер и на основе Windows, но рассуждая по аналогии:​ а не лучше ли доплатить еще немного и купить что-нибудь типа Sun?! Как бы там ни было, Linux/BSD занимает весьма заметное положение на серверном рынке, значительно превосходя Windows по надежности и стойкости ко взлому.
 +
 +Короче,​ если мы планируем установку Linux/BSD сейчас или в обозримом будущем,​ необходимо убедиться,​ что все необходимые нам интегрированные устройства исправно поддерживаются выбранной нами осью. Конечно,​ при желании интегрированное устройство можно отключить,​ воткнув подходящую карту в свободный PCI-слот,​ но… зачем платить деньги,​ за то, что все равно не удастся использовать?​!
 +
 +Существует нелепое заблуждение,​ что ни Linux, ни BSD не поддерживают интегрированного гигабитного Ethernet'​а. Что за чушь!!! Идем на http://​www.freebsd.org/​releases/​6.2R/​hardware.html и видим кучу чипов (в том числе и от Intel'​а,​ пользующегося уважением у разработчиков материнских плат), поддерживаемых FreeBSD 6.2. Аналогичным образом обстоят дела и с SCSI/​IDE-контроллерами,​ а так же RAID-массивами //​(////​**внимание**////​! категорически не рекомендуется использовать встроенные ////​RAID-////​контроллеры! поскольку,​ разные чипы несовместимы между собой, ////​RAID-////​массив намертво привязан к своей материнской плате и если она умрет, то для "​оживления"​ ////​RAID-////​массива потребуется приобрести модель с аналогичным чипом, но и в этом случае у нас не будет гарантий,​ что все заработает так как надо! материнские платы слишком быстро устаревают,​ снимаясь в производства. внешние ////​RAID-////​контроллеры в этом смысле намного надежнее//​).
 +
 +К сожалению,​ далеко не все оборудование,​ перечисленное в списке поддерживаемого железа,​ реально поддерживается свободными операционными системы. Вот например,​ чип SiI3112 (использующийся в частности,​ компанией Adaptec в 1210SA SATA RAID-контроллере),​ как будто бы поддерживается (см. "​man ata(4)"​),​ однако,​ исходные тексты содержат следующий убийственный комментарий:​
 +
 +cvs log /​sys/​dev/​ata/​ata-chipset.c
 +
 +%%%
 +
 +----------------------------
 +
 +revision 1.50
 +
 +date: 2003/12/08 09:​22:​20; ​ author: sos;  state: Exp;  lines: +3 -1
 +
 +More errata fixing for the SiI3112A disaster chip:
 +
 +Serialize access to the SATA channels, the chip messes up if
 +
 +both channels are used at the same time.
 +
 +The SiI3112 hereby takes the price as the most crappy SATA chip in
 +
 +existance by a significant amount.
 +
 +My advise to our userbase is to avoid this chip like the plague...
 +
 +----------------------------
 +
 +Листинг 1 фрагмент из исходных текстов драйвера ATA-устройств
 +
 +В переводе на русский:​ кодер по кличке sos пишет, что: "//​очередное исправление ошибок в драйвере этого пресловутого SiI3112A-чипа:​ при одновременном использовании обоих каналов возникала путаница и неразбериха,​ благодаря чему SiI3112 заслужил репутацию самого гнусного ////​SATA-////​чипа из всех существующих. мой совет: избегайте этого чипа как чумы//"​. Выходит,​ что поддержка поддержке рознь.
 +
 +===== выбор жестких дисков =====
 +
 +Винчестеру,​ установленному в сервере,​ мы доверяем хранение своих и чужих данных,​ многие из которых существуют в единственном экземпляре и нигде не зарезервированы. Как человек,​ время от времени занимающийся восстановлением данных (и даже написавшим книжку об этом, электронную копию которой можно скачать с nezumi.org.ru),​ мыщъх часто подвергается допросу знакомых интересующихся:​ какого производителя выбрать?​ Какой модели отдать предпочтение?​ Цены на жесткие диски давно сравнялись,​ поэтому количество убитых енотов уже не критично,​ остальные параметры — тоже. Главное,​ чтобы винчестер не сдох без возможности его восстановления. Мыщъх бы и рад ответить,​ но… он заинтересован в поиске надежных винчестеров не меньше других,​ вот только… у жестких дисков нет надежности. Вместо этого у них гарантийный талон.
 +
 +Не бывает "​хороших"​ и "​плохих"​ производителей. Ни одному бренду не удалось избежать ни мелких производственных дефектов,​ ни вопиющих ошибок проектирования. Правильнее говорить о неудачных (то есть "​падучих"​) моделях. Например,​ печально известная серия FujitsuMPG, в которой использовалась микросхема CirrusLogic с измененным составом подложки,​ со временем образовывала паразитные утечки и практически все эти винчестеры вымерли в течении 2х лет. Или вот IBM DTLA (в просторечии называемый "​дятлом"​) с идиотской конструкцией разъема гермоблока,​ вызывающей периодический неконтакт и как следствие — преждевременный обрыв операции записи,​ порождающий виртуальные BAD-сектора.
 +
 +На сайте фирмы Derstein, занимающейся восстановлением данных,​ приводится любопытная статистика зафиксированных отказов (http://​www.derstein.ru/​cgi-bin/​stat.cgi?​do=show),​ которую мыщъх в сокращенном виде приводит ниже. Одна таблица — по производителям,​ другая — по моделям.
 +
 +|производитель|количество зафиксированных отказов|
 +| Fujitsu|498|
 +|IBM|393|
 +|Maxtor|210|
 +|Quantum|110|
 +|Western Digital|95|
 +|Samsung|49|
 +|Seagate|42|
 +|Conner|3|
 +
 +Таблица 1 статистика отказов жестких дисков по производителям
 +
 +|модель|количество зафиксированных отказов|
 +| IBM(IC35L040AVER07-0) 41.0 Gb|119|
 +|Fujitsu(MPG3204AT) 20.4 Gb|83|
 +|Fujitsu(MPG3409AT) 40.9 Gb|57|
 +|Fujitsu(MPG3102AT) 10.2 Gb|54|
 +|Fujitsu(MPG3204AH) 20.4 Gb|48|
 +|IBM(DTLA 307030) 30.7 Gb|37|
 +|Fujitsu(MPG3409AH) 40.9 Gb|32|
 +|IBM(IC35L020AVER07-0) 20.5 Gb|31|
 +|Fujitsu(MPE3204AT) 20.4 Gb|29|
 +|Seagate(340016A) 40.0 Gb|28|
 +
 +Таблица 2 статистика отказов жестких дисков по моделям
 +
 +Как видно, самым наилучшим производителем оказался Samsung (хотя, лично у мыщъха против него стойкое предубеждение и вовсе не факт, что малое количество отказов не вызвано низкой популярностью таких дисков).
 +
 +Le fait est que, у всех производителей встречаются неудачные модели,​ к тому же, как уже говорилось,​ источник отказов зачастую располагается вне диска. De esta manera, вопрос о надежности правильнее ставить так: "​какой диск имеет наибольшие шансы на успешное восстановление?"​.
 +
 +С этим вопросом мыщъх обратился к ведущему инженеру фирмы ACELab Сергею Яценко,​ через руки которого прошли тысячи дисков:​ "//​Ответ на вопрос "​какие же диски лучше"​ в ключе, какие из них проще восстанавливать:​ более удачны в восстановлении (проще подобрать блок головок в случае проблем с ним, практически нет самоповреждения записи,​ сравнительно низкое количество экстремально сложных узлов):​ Seagate, Samsung, Hitachi-IBM(HGST),​ Fujitsu(2.5"​),​ ну и может быть Toshiba(2.5"​),​ хотя у последней есть очень мерзкая проблема с протеканием подшипника шпиндельного двигателя из-за того, что крышка его не приварена,​ как у других,​ а приклеена... Хотя у ////​Maxtor////'​а она тоже приклеена,​ но из-за значительно большей толщины и габаритов проблемы с ней не возникают. Название компаний я упорядочил по мере увеличения проблематичности их дисков...//​
 +
 +//​Далее идут диски, которые доставляют массу неприятностей при восстановлении,​ хотя может и отказывают не значительно чаще представителей первого списка (этот список так же упорядочен по нарастанию глючности)://​
 +
 +  - //Maxtor (очень "​порадовали"​ глючной записью и нестабильностью головок);//​
 +  - //WDC (крайне сложно подобрать исправные головки и восстановить функциональность служебной зоны в некоторых случаях,​ плюс у них статический транслятор,​ что приводит к невозможности прочитать данные пользователя в случае разрушения модулей транслятора и таблицы дефектов в служебной зоне);//​
 +  - //Quantum (хотя компании уже нет, но диски продолжают дохнуть и при этом практически невосстановимы). Самый действенный способ восстановления,​ но не самый продуктивный — это заморозка. В некоторых случаях отмороженный при -10 гр. Цельсия диск в течении где-то получаса начинает отдавать данные... Но этот трюк проходит не часто. Замена головок у них крайне затруднена и в случае 3х и более голового диска практически не реальна (вернее реальна,​ но при впечатляющих трудозатратах);//​
 +//Если у кого-то стоят Quantum AS, советую скорее от них избавится. ////​Maxtor////​ и WDC со своими трудностями справляются с явной неохотой...//​
 +
 +//​Естественно,​ объективную оценку дать сложно,​ но ситуация,​ по тому что мы наблюдаем,​ обстоит так//"​
 +
 +===== заключение =====
 +
 +Сервер,​ собранный своим руками,​ с учетом всех замечаний,​ указанных выше (и не указанных — тоже) работает не хуже, а зачастую даже лучше "​фирменной"​ модели "из коробки",​ представляющую собой компромисс между себестоимостью и надежностью. Увы, грамотный маркетинг и мощная юридическая поддержка,​ зачастую берут верх над техническими характеристиками.
 +
 +