Мацаємо китайське залізо і з'ясовуємо, наскільки це дешево і сердито



Не потрібно пояснювати, як санкції змінили російський ІТ-ринок. Тому що вони не так вже його поки змінили. Але, як мінімум, змінився стан душі: саме санкції породили інтерес до альтернативних брендів. В першу чергу — до китайських.



Ми вирішили ближче подивитися на досягнення китайської народної промисловості і випробувати їх в умовах типових обчислювальних задач, а заодно перевірити, як вони будуть себе вести в разі техногенних збоїв та інших актів вандалізму. Нижче історія нашого тестування продуктів компаній Inspur та Huawei.


Всі зараз говорять про вендорозамещение. Це на словах швидко і легко. Однак на практиці замінити звичне, миле серцю обладнання західних виробників на інше, маловідоме — це крок непростий і ризикований. Ще недавно клеймо «китайське» свідчило про меншовартість. І хоча нині в Китаї збирають багато престижні речі (де, наприклад, зібраний ваш iPhone?), від стереотипів позбавлятися все-таки непросто.

Бренд Huawei на ринку відомий давно, і в першу чергу, в сегменті телекомунікаційного обладнання. З кінця 80-х років компанія росла, успішно виготовляючи недорогих конкурентів західних зразків техніки, в першу чергу — Cisco. І не раз була замішана в скандалах, пов'язаних з недобросовісним копіюванням технологій. У нішу серверних рішень Huawei потрапив приблизно 8 років тому і за цей час встиг наростити багате портфоліо різних апаратних і програмних рішень.

Inspur, у свою чергу, за межами Китаю відомий не так давно, але в Китаї ця компанія з державною участю вже тривалий час розвиває місцевий ІТ-ринок. У 60-70 роках вона виробляла транзистори, які використовувалися у тому числі в китайських супутниках, у 80-90-х першою в Китаї зібрала ПК і сервер. У сучасному вигляді як виробник серверного устаткування і супутніх рішень Inspur був заснований в 2000 році, сьогодні компанія займає 5-е місце в світі за кількістю продажів серверів (в більшій мірі за рахунок китайського ринку).

Ми протестували окремі зразки китайського обладнання частково в своїй лабораторії, частково на майданчику Huawei. Але перш ніж перейти до опису заліза і того, що ми з нею витворяли, я хочу загострити увагу ще на одній задачі, яку ми попутно переслідували. Це глобальна задача, яка полягає в тому, щоб поступово мігрувати інформаційні системи з пропрієтарних RISC/UNIX-платформ на добротну і добре обжиту платформу x86.

Існує загальносвітова тенденція зниження частки комерційних UNIX на серверному ринку. Більше 40 років RISC/UNIX-системи панували в enterprisе-сегменті, тому що надійно працювали навіть під масивної навантаженням і майже лінійно масштабувалися по мірі додавання процесорів і пам'яті. Але прогрес не стоїть на місці, і архітектура x86 по своїм можливостям стала наздоганяти машини мейнфрейм-класу, а Linux все більше вдосконалювався в умінні ефективно управляти «великим залізом». Звичайно, і сьогодні є завдання, де RISC-архітектурі немає рівних, коли, скажімо, 1500 користувачів бази даних «долбится» в одну точку, що характерно для таких систем, як біллінг або картковий процесинг банку. Тим не менш, вже зараз різні завдання, включаючи бази даних, можна успішно переносити на більш дешеву і просту x86-архітектуру. Сервери стандартної архітектури інтуїтивно зрозумілі всім, хтов армії у дитинстві на час розбирав і збирав «писюк». І Linux давно вже не екзотика, а набір, який допитливий обиватель легко може розгорнути на домашньому комп'ютері, а особливо просунуті — у віртуальній машині. На противагу цьому RISC-сервери в побуті не зустрічаються, і освоїти їх вдома не можна. Тому підготовка фахівця, здатного з командного рядка управляти гудящим шафою вагою в тонну, до якого навіть звичний монітор підключити нікуди — це окремий і тривалий процес. Ще й не кожному дано. Поряд з неабиякою вартістю самого заліза, яке за ціною як два старих танка і комплект боеукладки, окремим головним болем є навчання та зміст фахівців. Вони до того ж, трохи що, норовлять фиркнути і піти подорожче продати себе вашим «партнерів по ринку». Так що тенденція витіснення RISC-серверів цілком закономірна.

Отже, про тестування. Звичайно, ніякого відкриття ми не зробили, поставивши Linux на интеловое залізо і поганявши на ньому базу. І тут я не претендую на премію МУЗ-ТВ. Але в цілому було цікаво подивитися, як з типовими завданнями буде справлятися саме китайське залізо, а також софт, який був на ньому встановлено. Як себе поведе, так би мовити, червоний дракон в умовах курника. Стосовно до залозу ми ставили перед собою завдання оцінити:
  • надійність компонентної бази;
  • стабільність роботи вбудованого софтвера;
  • зручність установки і використання.


Inspur

Перший примірник виробництва великої китайської корпорації, який нам трапився, був блейд-сервер NX5440. Це наймолодший примірник з лінійки блейд, бувають ще NX5840 і NX8840. Сервер NX5440 займає один слот в кошику (half-height), а NX5840 і NX8840 за два кожен. Всі три варіанти встановлюються в єдине шасі I8000, як і в нашому випадку. Наше шасі було оснащено модулем управління і модулем Ethernet.



Обмовлюся, що Inspur у своїй продуктовій лінійці x86-серверів пропонує Rack-сервери серії NF, баштові сервери NP, блейд-сервери NX, а також storage-сервер з високою щільністю розміщення дисків. Всі типи серверів побудовані на чіпсеті — Intel C600 і використовують процесори Xeon E3 V2. Також у Inspur є перший і поки єдиний в Китаї свій великий UNIX-сервер на базі процесорів Itanium і архітектури CC-NUMA — Inspur Tiansuo TSK1, масштабований до 128 фізичних ядер з UNIX-подібної ОС власної розробки K-UX.



Виробник заявляє небувалу масштабованість і адаптивність своїх творінь, але неупереджений погляд творіння в плані набивання і особливостей конструкції не сильно відрізняються від своїх однокласників, випущених іншими вендорами. Блоки живлення і вентилятори дубльовані, пам'ять з корекцією помилок, мережеві інтерфейси дозволяють створювати резервний агрегації. Є гнучкість у компонуванні серверів — їх справді можна зібрати з великого вибору комплектуючих.

Досвід роботи з цими виробами, що побували в нашій лабораторії, проте показав, що не так вже застаріли ті самі стереотипи, про які я писав вище. Наші поневіряння почалися майже відразу після включення цього господарства. Відразу обмовлюся про документацію від виробника. Інформація переважно носить описовий характер: на такому екрані такі кнопочки. Картинки в керівництві користувача являють собою скріншоти з китайського інтерфейсу. Загалом, виявилося простіше розбиратися самим, без керівництва.



За той тиждень, поки ми тестували цей агрегат, у нас тричі зникала зв'язок з модулем управління шасі (SMC) і з модулем управління самого леза (BMC). Ця напасть траплялася поза всяких закономірностей. Коли це сталося вперше, ми викликали на підмогу інженера з Inspur. До слова сказати, з цим у Inspur все добре, якщо не вважати, що всі інженери в російському офісі — китайці, ймовірно, тому що офіс відкритий зовсім недавно. На майданчик вони виїжджають відразу разом з перекладачем. Здавалося б — круто! Але фокус у тому, що випускник Іркутського мовного інституту мало що тямив у техніці. У перекладі наших технічних питань його тягнуло в лірику, тому скоро ми його засунули в бік і перейшли до прямого спілкування з інженером через міжнародний мова пантоміми. Китаєць жестами пояснив, що він дуже любить рис, комуністичну партію і сервери. Коли ми запитали, чи є у нього допуск до роботи з напругою до 1000В, він пред'явив нам якесь червоне посвідчення, видане, повинно бути, Народно-Визвольною Армією Китаю, так що ми зрозуміли, що 1000В — це нижче його гідності, і, якщо треба, він гордо помре на цій розетки.

Китаєць швидко зметикував, що ми хороші хлопці, і радісно полагодив нам блейд-кошик переусадкой модуля управління. Всі наступні випадки пропажі зв'язку чинили вже самі — тим ж способом: щось перетыкали або перезавантажували. Ось такий от «плаваючий» характер проблеми — коли вона проявляється спонтанно і створюється випадковими діями.

Інтерфейс SMC не відрізняється багатством можливостей. Найкорисніше — включити, вимкнути сервер, перезавантажити його модуль управління. Змінити мережеві налаштування BMC-модуля блейда з нього не можна, це взагалі можна зробити тільки з web-інтерфейсу модуля керування самого блейда, а поточний IP-адресу, якщо він невідомий, можна дізнатися в BIOS'У е.



У меню «Ethernet Module» можна подивитися, встановлений модуль, включено чи його харчування і вимкнути його при бажанні. У довершенні всього, цей модуль виявився концентратором, а не комутатором. Правда, зараз ця модель вже застаріла, і Inspur поставляє вже більш просунуті модулі.

У меню налаштування протоколювання були включені всі опції, але при спробі переглянути логи лише показувалося повідомлення «Empty logs». В меню управління користувачами з'ясувалося, що не можна створити додаткового користувача з правами адміністратора, а користувач типу «Common User» фактично може тільки перемикати меню і розглядати, але змінити нічого не може. У меню «Power Supply Fan and Module» можна дізнатися вольтаж і «оберти» і при бажанні вручну задати останні для кожного Fan Module. При віддаленому керуванні лезом через KVM OVER IP у нас досить часто виникали різноманітні помилки, які вирішувалися повторним підключенням, рідше — перезавантаженням BMC. При спробі встановити Windows потрібен драйвер для RAID-контролера, який по ідеї йде на диску «Inspur driver CD». Однак програма установки з диска так не заробила, хоча ушкоджень CD-носій не мав.

Коли ми навчилися поводитися з цим виробом і при необхідності його лагодити, ми поставили на сервер ОС RHEL 6.6 x86-64 і поверх поставили СУБД Oracle 11.2.0.4. Для тестування було використано ЗА Swingbench 2.4, а також процедура обчислення квадратного кореня на perl для розігріву ЦП. Згаданий Swingbench (http://dominicgiles.com/swingbench.html) — це невелике безкоштовний додаток, стандартний спосіб дати синтетичну навантаження на базу даних, показує графіки.

Сервер успішно пройшов тестування протягом доби. Температура ядер процесорів при цьому трималася на рівні 55-60 °C при температурі охолоджуючого сервер повітря близько 20 °C. На показниках продуктивності (IOPS, TPS, MB/S) спеціально загострювати увагу не буду, оскільки всі вони залежать від вхідних даних, від налаштувань. Ми не ставили за мету вичавлювати з сервера рекорди продуктивності, сенс навантажувального тестування зводився до перевірки здатності сервера працювати в режимі реальних завдань.



У загальному і цілому ми зробили висновки, що обладнання, яке потрапило до нас на тести, виглядало сируватим. Справедливості заради треба сказати, що пропажа зв'язку з модулями управління, звичайно, могло бути особливістю конкретного екземпляра, з яким ми мали справу. В іншому це звичний x86-сервер з двома Intel Xeon E5-2690 v2 і 128 Gb DDR3. Але взагалі китайські виробники вдосконалюють свої продукти з такою швидкістю, що вже через кілька місяців ми можемо зіткнутися з новим зразком цієї техніки, який буде вже врятований від усіх дитячий хвороб. Власне, з цієї причини ми зовсім недавно стали офіційними партнерами Inspur, спостерігаючи, як вендор розвиває свою лінійку і прагне продавати її в Росії. Враховуючи санкції, ще один альтернативний постачальник в нашому портфелі буде не зайвим.

Huawei

У нашому розпорядженні виявилося шасі E6000H з встановленими чотирма лезами BH620 V2 (конфігурація: 2x Intel Xeon E5-2407 2.20 GHz, 16 Гб RAM, 2 Gigabit Ethernet, 2 Emulex FC3532 HBA).


Фото Huawei з нашої лабораторії. Вигляд ззаду — так ракурс вдаліше вийшов

Це залізо відноситься до попереднього покоління, в той час як актуальною лінійкою зараз є v3. Однак це було наше лабораторне обладнання, яке нам було зовсім не шкода. Ми ставили на нього ОС RHEL і Oracle Linux, поверх ту ж СУБД Oracle 11g, створювали у ній навантаження за допомогою Swingbench, а також власними сценаріями, емулюючи різні профілі навантаження: великі обсяги запису, великі обсяги читання даних, важкі запити з важкими сортировками. В кінці як факультативної інформації я навів послідовність наших кроків при навантажувальному тестуванні.

Поки системи працювали, обробляючи транзакції, ми, вискакуючи несподівано з-за рогу, застосовували до них різні насильницькі методи. Ми висмикували на ходу диски, мережа, вимикали електрику рубильником. Головним чином нас цікавило, чи зможе ОС коректно запуститися, і зможе СУБД відновитися після відновлення роботи і доступу до даних. На класичних промислових системах це в переважній більшості випадків відбувається. Але як себе вів китайський товар?

Зізнатися чесно, все працювало добре, і причепитися нам у підсумку було не до чого. Апаратна частина працювала стабільно, ніяких зухвалих фокусів не демонструвала. ОС і база вели себе штатно, відпрацьовуючи всі належні міри по відновленню після знущань. Створити в базі коррапт даних нам так і не вдалося.

Нове покоління заліза ми теж помацали. Така можливість нам була люб'язно надана компанією Huawei на демо-майданчику, яка виглядає місцями навіть футуристично.


Ось вона — демо-майданчик Huawei

Треба сказати, що в портфелі продуктів Huawei присутні весь спектр рішень: від серверів і СГД до програмних рішень по віртуалізації. Однак співробітники Huawei, незважаючи на наше палке бажання познайомитися з FusionCompute — середовищем віртуалізації власної розробки, створеної на базі технології Xen — за час нашого перебування у них так і не змогли її запустити. Вона позиціонується, як заміна продуктів VMware, однак, як бачите, ввічливо не працює. Однак залізо Huawei робити точно навчилися, і тому час, що залишився, я розповім про наші враження про нього.

Лінійки серверів третього покоління містять як Rack-сервери, так і Blade — і High-Density варіанти, надаючи, таким чином, велика кількість конкуруючих рішень для середнього та великого бізнесу, який звик будувати інфраструктуру на таких машинах як HP DL360e і 360p, HP DL380 Gen9, IBM x3650 і x3850, Dell R730 і R930, і т. п. Використовуються обкатані технологічні рішення і звичайне сучасне залізо.



Лінійка Rack-серверів Huawei

Процесорів від Intel початкового рівня Е3 немає, як немає і процесорів AMD. У новому поколінні v3 підтримується DDR4, а також заявлена підтримка планок пам'яті об'ємом 64 Гб, природно, коли вони з'являться. Мережеві інтерфейси серверів у замінні, LOM-картка також включає і менеджмент-порт. SAS RAID контролери у покоління V2 — 6 Gb/s, у V3 — 12 Gb/s. І в тому, і в іншому випадку використовуються контролери LSI з рідною прошивкою виробника, а не модифікованої від Huawei. В якості батареї кеш-пам'яті використовується суперконденсатор.

В цілому, набір компонентів в серверах стандартний і дубльований для відмовостійкості. Блоки живлення і вентилятори підтримують гарячу заміну — все як у дорослих.

Сервери від Huawei можуть працювати в широкому діапазоні температур, до 45ºC. У конкурентів відмітка рідко перевищує значення в 35 C. Даних показників вдалося досягти за рахунок більш продуманого дизайну системної плати і розташування модулів пам'яті. До збірки серверів нарікань немає, вся конструкція та встановлення елементів надійна, без люфтів, заміна компонентів не викликає складнощів.







Blade-сервери Huawei встановлюються в нову кошик Е9000 розміром 12U, тобто в стандартну стійку вміститься всього три штуки. Кількість Blade-серверів в кошику — 16 штук, всі встановлюються горизонтально. Blade-сервери нічим, крім форм-фактора, не відрізняються від Rack-серверів.

Лінійка Blade-серверів Huawei

Є конфігурації з 4 сокетами в повнорозмірному блейде, що займає 2 слота корзини, а також стандартні 2-сокетные конфігурації, що відрізняються розміром, залежно від кількості дисків. Блейды можуть підключаються до LAN і SAN допомогою великої кількості світчів, представлених в лінійці. Загальна ідея Huawei — зробити все конвергентним.

Всі сервери Huawei, починаючи з V2, підтримують офіційно наступні ОС: Windows Server, RHEL, SLES, Solaris, CentOS, Citrix XenServer, VMware ESXi, FusionSphere. Щоб уникнути проблем з драйверами, необхідно встановлювати ОС, використовуючи «FusionServer Tools Service CD». Рішення являє собою завантажувальний образ, який попередньо скопіює на диск всі необхідні драйвери. Також Service CD дозволяє сконфігурувати RAID-масив на дисках сервера і створити логічний те потрібного розміру. Загалом, все працювало чітко і без нарікань. Драйвери для всіх офіційно підтримуваних ОС постійно оновлюються і доступні для завантаження через портал. Засіб керування кошиком Е9000 називається HMM. З часів першої версії НММ змінився тільки графічний інтерфейс. В іншому функціонал, звичайно, ще далекий від ідеалу. Так і залишилися не допрацьованими інформативність алертів, читабельність логів з кошика, вбудована документація, інформація щодо сервера та його компонентів, інформація по маппингу інтерфейсів сервера комутатори, некоректно працює авторизація LDAP.



iMana і iBMC — керуючий веб-інтерфейс серверів, відповідно, другого і третього поколінь. iBMC є продовженням iMana, також з редизайном залишилися недоробок.

Ми провели в демо-центрі кілька днів, і крім серверів вивчали ще системи зберігання даних і софт. Також смикали на ходу дроти і диски, правда, цілком повторити нелюдські експерименти з чужим обладнанням нам ніхто не дав. На четвертий день, наприклад, ми ще хотіли випробувати обладнання на вологостійкість, але чомусь співробітники вендора не давали нам розмотати пожежний рукав.

Вже без жартів скажу, що в цілому продукція Huawei залишила про себе сприятливе враження, навіть незважаючи на дрібні шорсткості. Залишаються якісь недоліки в інтерфейсах управління, як і раніше залишає бажати кращого англомовна документація, і, очевидно, поки не так багато інформації можна отримати з форумів. В іншому це працездатні зразки, побудовані за всіма сучасними правилами серверного заліза.

Хроніки лабораторії

Наведу методи тортур, які ми застосовували до серверів з працюючою на них базою Oracle 11g. Ось послідовність кроків при навантажувальному тестуванні:
  1. Swingbench з «важкими» налаштуваннями. Мета — перевірити роботу системи під різнопланової навантаженням, що віддалено нагадує роботу користувачів в сферичному додатку в вакуумі. Ми встановили і налаштували Swingbench, поставили параметри складніше і запустили. Якщо не падало, то поступово збільшували навантаження — і так до повного вичерпання продуктивності ресурсів.
  2. Великі обсяги запису в БД. Мета — переконатися, що зв'язка сервер-ОС-БД залишаються в працездатному стані при захмарних обсягах запису. Для цього ми написали скрипт, який робить вставку великої кількості даних в таблицю (щось в дусі insert into test_table01 as select * from dba_objects a;). Цей скрипт ми запускали одночасно великою кількістю потоків, кожен з яких несамовито писав у свою таблицю.
  3. Великі обсяги читань з диска. Мета — переконатися, що зв'язка сервер-ОС-БД залишаються в працездатному стані при захмарних обсягах читання з диска (без кеша). Для цього ми виставили маленьке значення для параметра buffer_cache, створили величезну таблицю без індексів. І потім почали селектить звідти за випадковим значенням ключа і так багато разів у багато потоків.
  4. Важкі запити з важкими сортировками. Пишемо максимально криві запити з величезним таблиць (з використанням повних join, наприклад, або просто складних і неіндексованих). Запускаємо багато і паралельно. Це саме по собі серйозне навантаження, було цікаво, як впорається.
  5. Concurency, latch, mutex. Нашою метою було подивитися, як база буде працювати при високій конкуренції за неразделяемые ресурси. Для цього ми багато потоків змінювали а) один рядок даних, б) великий, але завжди один, набір даних.


Замість висновків

З безлічі варіантів, ніж інженер може бути зайнятий на роботі, тестування нового обладнання представляється мало не самим захоплюючим заняттям. Але в даному випадку ми мали справу не просто з новою моделлю відомого бренду, а з принципово новими представниками ринку, які, можливо, в недалекому майбутньому займуть своє місце в парку обчислювального обладнання. Платформа x86 здається звичною, але, висловлюючись образно, в китайському виконанні її треба їсти з гострим соусом і паличками. А для цього потрібен навик. Ми зробили перший крок у знайомстві з серверами Inspur і Huawei, але на цьому ми не збираємося зупинятися. І з рядом компаній, які до нас вже звернулися по темі вендорозамещения, ми починаємо серію пілотних впроваджень, де на китайське залізо будуть перенесені не синтетичні, а реальні завдання. Загалом, якщо зацікавилися, звертайтеся.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.