От имени команды Operations, включив на всю катушку специальную музыку для сочинения статей (Skálmöld), с гордостью представляю вам большой проект под названием «Транквилити Tech III», который по нашим планам будет завершен в самом начале 2016 года.

Проект называется TQ Tech III (TQ от полного названия «Транквилити», главный сервер EVE Online) из-за того, что инфраструктура Евы физически меняется в третий раз. ССР делает значительные инвестиции в совершенно новое оборудование (сетевое оборудование, система хранения и серверы), а также переносит его на новый хостинг в Лондоне.

У TQ Tech III есть множество аспектов, которые я буду пояснять при помощи своих коллег-разработчиков.

Внимание: сейчас будет много супер-пупер технологий!

Дополнительная избыточность

Система хранения данных «Транквилити» дублируется и избыточна. Массив хранилищ всегда был избыточным, но сейчас мы увеличили количество элементов устойчивости к сбоям.

У нас будет полное зеркало сети хранения данных (SAN mirror) для одновременного поддержания «Транквилити» и резервной копии в рабочем состоянии, а также для точного воспроизведения базы данных «Транквилити» на другом берегу океана в Исландии, стране льда и пламени.

Вот как будет выглядеть «Транквилити» со стороны хранилища данных после окончания работ:

Вы можете увидеть два контроллера SAN фирмы IBM, определяющих работу двух контроллеров V5000 той же фирмы; они, в свою очередь, сохраняют все данные на трёх стойках расширения, содержащих 9 твердотельных накопителей по 800 Гб, что в сумме дает 83 диска 1.2Tб 10K SAS. Не забудьте, что всё это дублируется, так что для полной картины удвойте цифры!

Всё это работает очень быстро, а новое хранилище должно обращаться к серверам…

Новые серверы

С первого дня «Ева» работала на блейд-серверах IBM. Для обновления мы выбрали новое поколение серверов IBM под названием IBM FLEX. На картинке выше вы можете видеть связь одного шасси FLEX с системой хранения.
Концепция FLEX похожа на блейды в том, что шасси предоставляет питание и охлаждение и может нести до 14 узлов (нод) на каждом шасси.

Для сравнения, сегодня блейды «Транквилити» работают с четырьмя гигабитными соединениями, причем каждый из 14 узлов обладает доступом к двум гигабитным соединениям, поскольку у них по две сетевые карты.

Новое шасси IBM Flex получит четыре десятигигабитных соединения, дав каждому узлу пропускную способность в 2х10 Гбит.

На сегодняшний день это слишком много для «Евы», но после установки оборудования наши инженеры смогут экспериментировать с новыми интересными способами масштабирования производительности «Транквилити» и архитектуры в целом. Это, конечно, потребует времени, но мгновенный эффект состоит в очень быстром выпуске обновлений!

Кроме того, в результате серьёзно улучшится наше виртуальное серверное окружение, например при переносе в реальном времени виртуальных машин на другой физических хост.

Ах да, у нас будет 6 таких шасси. :D

Правда, красиво?

Вы можете заметить обилие избыточных компонентов. Так и задумано: для обслуживания «Транквилити» мы можем отключить одно шасси полностью, а игроки продолжат воевать, писать в чатах, производить, исследовать и обманывать на оставшихся пяти стойках.

Серверы соединяются с системой хранения через шестнадцатигигабитные свитчи IBM SAN 2498-F48. Всё скоммутировано так, чтобы избежать существования потенциально сбойных точек, зависящих от единственного узла системы.

Mahālangūr Himāl

Сейчас у нас есть один компонент кластера «Транквилити», который мы называем «Эверест». Он используется в ситуациях, когда необходимо справиться с очень высокой нагрузкой - обычно это происходит во время самых крупных в ММО сражений.

У «Транквилити Т3» будет шесть узлов типа «Эверест».

Это позволит одновременно взрывать очень много кораблей. А ещё в случае необходимости некоторые альянсы могут одновременно забыть оплатить важные счета!

Обаятельная база данных «Транквилити»

Давайте поближе взглянем на кластер. Начнем с оборудования для работы с базой данных «Транквилити».

У каждой из четырех машин Microsoft SQL Database будет внушительные 768 Гб оперативной памяти, работающей на частоте 1866 МГц. У них будет по 2 процессора Intel E7-8893 v3 — процессор с частотой 3.2 ГГц и 4 ядрами (8 с гипертредингом) и кешем в 45 Мб, что делает их идеальным решением для интенсивной работы с базой данных. 

Вот более подробный рассказ о базе данных от её администраторов.

Кластеры БД

Сейчас у нас три главных кластера базы данных:
«Транквилити» (2-хпроцессорный с 32 ядрами в гипертрединге)
Веб-сервер (2-хпроцессорный с 24 ядрами в гипертрединге)
Сервер управления учетными записями и платежами (2-хпроцессорный с 24 ядрами в гипертрединге)

Все три работают на совершенно разных типах оборудования из разных поколений архитектуры, соединенных между собой надёжной матарской изолентой, благочестивыми амаррскими молитвами, наивным и радостным духом галлентов и низкокачественной проволокой, массово выпускавшейся в Государстве Калдари. На новом кластере «Транквилити» мы собираемся всё оптимизировать и освободить немного места, поэтому объединим веб-сервер и сервер управления учетными записями и платежами. «Транквилити» останется отделённым от остальных.

Мы заменим процессоры X7560 по 2.26 ГГц пятилетней давности на новые блестящие E7-8893 v3 по 3.2 ГГц. Одна только тактовая частота увеличится на 45%, а скорость работы с памятью вырастет аж на 75%, с 1066 до 1866!! Не подумайте плохо - нам понадобится вся эта дополнительная мощность, поскольку объём памяти вырастет с 672 Гб до 1,5 Тб. Ага, всё верно - полтора ТЕРАбайта оперативки! Вот так и живём — меряем память «Транквилити» терабайтами!
Помните, что это цифры только для активных узлов. Если учесть вторичные и пассивные узлы, то общий объём памяти кластера «Транквилити» следует удвоить. 3 Тб оперативной памяти для 2х рабочих кластеров - ммммм, прекрасно!

Мы рассматривали возможность использования единого активно-активного кластера из двух узлов, но решили отказаться от этого по разным причинам. К примеру, если один из cluster.exe перестанет работать, то вся контора может накрыться. А изолированный кластер «Транквилити» позволит быть спокойными за всю систему.

Итак, у нас есть 4 невероятно мощных компьютера для БД, содержащих два наших кластера. Это привело нас к очень интересной идее, позволяющей увеличить отказоустойчивость.

Виртуализируй всё!

Новый дом

Вначале «Транквилити» располагался в центре «Cable and Wireless» в Лондоне, а затем переехал на другую сторону улицы в центр «Telecity» в феврале 2006 года. И вот, спустя почти 10 лет, мы переезжаем в новый датацентр (открытый в 2014 году), построенный по последнему слову техники.
На протяжении нескольких месяцев серверы будут работать параллельно в обоих центрах. Затем, когда всё будет готово, мы переключимся на сервер в новом месте и постараемся сделать перерыв минимальным по времени.

Мы рассчитываем полностью создать и запустить «Транквилити Т3» в самом начале 2016 года.

Затем мы перенесём то, что вскоре будет известно под именем «Старый Транквилити» домой, в Исландию, в датацентр «Verne Global» (который снабжается электричеством от таинственной геотермальной вулканической энергии). На этом сервере, собранном из частей старого «Транквилити» и небольших дополнений, мы планируем расположить все наши тест-серверы: «Сингьюлэрити», «Мултиплисити» и т.д.
После этого мы начнем дублировать новую БД «Транквилити» из Лондона в Исландию, чтобы у нас был дополнительный источник в случае внезапного начала Рагнарёка в центре Англии.

В начале ноября выйдет ещё одна статья с изображениями нашего оборудования, устанавливаемого в Рейкьявике, а также отчет о проделанной работе. 

Отдел технического обслуживания взволнован и горд проекто «Транквилити Т3» и его значением для EVE Online и игроков.

Но хватит писать. Пора заниматься проектом.

CCP Gunshow, от имени команды CCP Ops