Все новости от 4 декабря 2003 г.

Архитектура

Каждый из 1100 вычислительных узлов кластера представляет собой почти стандартный Power Macintosh G5 "старшей" модели (см. PC Week/RE, № 24/2003, с. 1), отличающийся от базовой лишь увеличенным объемом оперативной памяти.

В результате каждый узел оказался снабжен парой 64-разрядных процессоров PowerPC G5 2 ГГц (также называемых IBM PowerPC 970), двухканальной DDR-памятью объемом 4 Гб и одним жестким диском SATA на 160 Гб; при покупке в "фирменном" электронном магазине Apple Store каждый такой компьютер обойдется вам в 5349 долл.

Довольно интересно решена проблема хранения данных -- в Большом Маке не стали развертывать отдельное дисковое хранилище, а использовали распределенное дисковое пространство узлов общим объемом 176 Тб.

Подобный ход вполне логичен для хранения временных данных, но несколько неуклюж в качестве долговременного хранилища.

Вероятно, выбор полностью распределенной системы хранения был продиктован стремлением свести к минимуму общую стоимость кластера, архитектура которого, впрочем, легко позволяет в будущем при необходимости добавить специализированную дисковую подсистему большой емкости.

Стойки с Power Mac G5, составляющие Большой Мак. Наверху шкафов видны криогенные теплообменники

Кроме 1100 вычислительных в кластере имеется и пять специализированных узлов. Четыре из них заведуют начальным запуском кластера и распределением задач по вычислительным узлам, а также используются в качестве инструмента для подготовки (компиляции и сборки) заданий Большому Маку.

Один узел является управляющим.

Каждый узел готов показать вполне достойную производительность, но все 1100 узлов необходимо объединить в единое целое. Совершенно ясно, что для систем класса Power Mac G5 столь широко применявшаяся в кластеростроении еще полгода назад технология Gigabit Ethernet с ее пиковой производительностью в 140 Мб/с в каждую сторону оказывается совсем уж слабой -- ведь в Power Mac G5 эффективная скорость процессорных шин превышает 14,2 Гб/с, а скорость обмена с памятью достигает 6,4 Гб/с.

В результате было решено использовать новейшую технологию передачи данных InfiniBand второго поколения (4X), позволяющую обмениваться данными со скоростью 10 Гбит/с в обоих направлениях одновременно. Всю аппаратуру на базе этой технологии произвела компания Mellanox Technologies.

Во всех компьютерах -- узлах кластера были установлены двухпортовые адаптеры Mellanox InfiniHost MTPB23108 PCI-X Adapter Board, причем каждый адаптер подключался сразу к двум коммутаторам InfiniBand.

Для объединения узлов было использовано 24 коммутатора MTEK43132-M96-2P с 96 портами InfiniBand 4X в каждом, так что суммарное число портов в системе составляет 2304.

Точной схемы, по которой объединяется вся эта уйма коммутаторов, нам получить не удалось, но простой подсчет показывает, что портов явно недостаточно для создания действительно универсальной, работающей на полной скорости, коммутируемой инфраструктуры.

Однако в данном случае общие соображения оказываются не слишком применимыми, поскольку данные для подавляющего большинства вычислительных задач имеют тенденцию к "локализации", что почти всегда позволяет ограничиться передачей между ближайшими узлами кластера.

Есть в Большом Маке и еще одна объединяющая все узлы кластера сеть. Она играет вспомогательную роль и используется для мониторинга и управления кластером, распределения задач между узлами и их запуска, доступа к единому дисковому пространству кластера по протоколу NFS и прочих обычных для протокола IP задач.

В этой вторичной сети действуют имеющиеся в каждом из Power Mac G5 порты Gigabit Ethernet, а в единую сеть их объединяют пять модульных коммутаторов компании Cisco Systems серии 4500 с 240 портами Gigabit Ethernet в каждом.