Коллектив Авторов - Цифровой журнал «Компьютерра» № 81

Компьютерра

08.08.2011 - 14.08.2011

Статьи

Blue Waters: петафлопсовая матрёшка

Евгений Лебеденко, Mobi.ru

Опубликовано 09 августа 2011 года

Суперкомпьютеры в мире вычислительных систем сродни олигархам в человеческом обществе. Вот вроде бы такие же люди, та же анатомия и физиология, ан нет — попасть в их тусовку, периодически обновляемую журналом Forbes, простому обывателю нереально. Так же и у компьютеров: докажи, что ты крут в плане вычислительных способностей — и пожалуй в рейтинг Top 500 Supercomputers, своеобразный компьютерный Forbes.

Разработать приличный суперкомпьютер с замашками вычислительного олигарха непросто технически и недёшево экономически. А уж заполучить его мощь в своё распоряжение для решения высоконаучных и вполне насущных задач и того сложнее.

Владельцы супервычислителей не для того их создавали, чтобы заниматься благотворительностью. Будь любезен, ознакомься с прайсом (оплата почасовая), прокалькулируй свой бюджет, сформулируй получше задачу и пользуйся на здоровье, пока деньги есть. Хорошо, если задачи твои актуальны и правительство твоей страны заинтересовано в их решении. К примеру, правительство Японии после могучего землетрясения 11 марта не поскупится на бюджетные отчисления для моделирования последствий подобных (тьфу-тьфу) катастроф в будущем.

А как же быть вузам, начинающим учёным и исследователям интересных, но не злободневных задач, бюджет которых если и позволяет арендовать суперкомпьютер, то не самый мощный и ненадолго? Придётся решать свои задачи, как дядюшка Тыква в известной сказке Джанни Родари строил свой дом: по кирпичику и очень медленно? Не обязательно.

Благодаря дружбе, которая, как известно, позволяет делать настоящие чудеса, в распоряжении студентов и аспирантов (пока что, правда, только американских) появился могучий вычислитель мощностью более одного петафлопса (1015 FLOPS). Руку дружбы будущему поколению учёных и инженеров протянули: Университет штата Иллинойс Urbana-Champaign, Национальный центр суперкомпьютерных вычислений США (NCSA — National Center for Supercomputing Applications), компания IBM и консорциум Great Lakes for Petascale Computation. Объединив свои усилия, возможности, финансы и инженерную мощь, эти организации разработали проект Blue Waters — масштабируемую суперкомпьютерную систему, выдающую петафлопсовую производительность.

Уникальность проекта Blue Waters — в его открытости для начинающих свой путь исследователей, которая отражается в программе выделения вычислительных ресурсов PRAC (Petascale Computing Resource Allocations). А ещё — в совершенно особенной архитектуре-матрёшке, которую разработала для проекта компания IBM.

Как же устроена система, способная «разогнаться» свыше одного петафлопса и готовая увеличить эту далеко не маленькую мощь?

Таблица ниже демонстрирует возможности Blue Waters в сравнении с возможностями типового кластера NCSA Abe на базе шестидесятичетырёхразрядных процессоров Intel Xeon и высокопроизводительной компьютерной системы TACC из техасского центра суперкомпьютерных вычислений, построенной на процессорах AMD.

Кластер NCSA Abe

TACC

Blue Waters

Внушительно, не правда ли? И в плане производительности, и в плане «железной» составляющей Blue Waters. А ведь именно эта, базирующаяся на процессорной системе IBM Power 7, составляющая и даёт петафлопсовую мощь.

Разрабатывая архитектуру Blue Waters, компания IBM не просто масштабно применила свою новую разработку — процессор Power 7. Она создала вложенную модульную структуру, все элементы которой связаны между собой высокоскоростными шинами данных. Каждый из модулей этой структуры может использоваться независимо (если большая вычислительная мощность не требуется) или практически неограниченно масштабироваться, создавая системы с необходимыми характеристиками.

Мельчайший кирпичик в пирамиде Blue Waters — ядро процессора Power 7 (Power 7 Core), коих у процессора IBM целых восемь. Само по себе ядро Power 7 является самостоятельным вычислителем с двумя модулями вычислений с фиксированной запятой, четырьмя модулями вычислений двойной точности с плавающей запятой, модулями векторной и десятичной математики, 64 килобайтами кэш-памяти первого уровня и 256 килобайтами кэш-памяти второго уровня.

На одном кремниевом чипе процессора Power 7 таких ядер восемь. Кроме них на этом же чипе расположены: кэш-память третьего уровня (по четыре мегабайта на ядро), два контроллера оперативной памяти, позволяющие подключить к одному процессору до 128 гигабайт быстродействующей DDR3 памяти Dual SuperNova, четыре шины данных для межядерного взаимодействия и связи с другими процессорами Power 7.

Схема процессора IBM Power 7

Связь эта позволяет объединить четыре Power 7 в сборку, именуемую Multi Chip или Quad Chip Module (QCM). Обладая тридцатью двумя взаимодействующими между собой ядрами Power 7 Core, сборка QCM способна работать с 512 гигабайтами оперативной памяти. Ещё одной её особенностью является наличие коммуникационного узла (On-Board Hub), позволяющего связывать QCM с себе подобными по высокоскоростной медной шине данных и имеющего оптический выход шины данных L Remote.

Связанные через свои хабы, восемь узлов QCM составляют так называемый Drawer — законченный функциональный модуль с собственной системой питания и охлаждения. 256 ядер Power 7 Core в составе модуля Drawer поддерживают более терабайта оперативной памяти и два коммуникационных уровня. На первом из них с помощью оптической шины L Remote Drawer соединяется с тремя себе подобными, образуя ещё один законченный функциональный блок, именуемый Super Node.

Второй уровень коммуникаций обеспечивается оптической шиной D-Link. Она связывает несколько Super Node между собой. Итого четыре модуля Drawer дают Super Node 1024 ядра Power 7 Core и поддержку свыше четырёх терабайт оперативной памяти. Технически, глядя на таблицу выше, можно сказать, что один Super Node является практически полноценным суперкомпьютером начального уровня.

Но матрёшка Blue Waters ещё масштабнее модуля Super Node. Три «суперузла», установленные в стойку с независимым источником бесперебойного питания и восьмиканальной системой водяного охлаждения, образуют предпоследний слой системы, именуемый Rack.

У «ящика» Blue Waters Rack есть источник бесперебойного питания и система водяного охлаждения

Чтобы узлы Super Node в составе модуля Rack могли связаться между собой, с другими Super Node в других Rack и с массой периферии, в состав Rack входит мощный коммуникационный узел Power 7 Torrent. Благодаря нему 3073 ядра Rack могут подключиться к 192 шестнадцатискоростным и 12 восьмискоростным шинам PCI Express. Теоретически же узел Power 7 Torrent позволяет объединить в Rack 512 модулей Super Node.

Вычислительная мощность одного модуля Rack составляет примерно 100 терафлопс. Для получения вожделенного петафлопса между собой были связаны 100 модулей Rack, установленных в специальном помещении университета Иллинойса, именуемом Национальная фабрика петафлопсовых вычислений (National Petascale Computing Facility).

Что же за продукты выходят с конвейера этой фабрики? Blue Waters — молодая (запущена в эксплуатацию в июне 2010 года) суперкомпьютерная система, но уже сейчас она может похвастаться несколькими мощными проектами независимых исследователей. К ним относятся актуальная нынче модель землетрясений, моделирование пандемий и модель формирования галактик. Кроме этих проектов Blue Waters активно используется в компьютерной поддержке электронной микроскопии, которая активно применяется для исследования ДНК и, что примечательно, для разработки новых наноразмерных технологий для следующих версий компьютерных чипов.

В ближайших планах IBM — замена медной шины, соединяющей QCM-модули Power 7, на оптическую магистраль

Воспользоваться мощностью Blue Waters могут любая исследовательская лаборатория или независимый исследователь. Для этого достаточно стать членом команды PRAC и обосновать актуальность своего исследования.

Вот так, благодаря матрёшке IBM Power 7, в руках нынешних и будущих учёных появился уникальный и вполне демократичный вычислитель мощностью в один петафлопс. И это, как видно из масштабируемой архитектуры Blue Waters, далеко не предел.