Все новости от 22 февраля 2007 г. “СКИФ Cyberia” занял место в элите
Проект оснащения вычислительного центра Томского государственного университета (ТГУ) суперкомпьютером “СКИФ Cyberia”, о старте которого мы сообщили в ноябре прошлого года в PC Week/RE, № 42/2006, с. 1, завершен. По данным производителя суперкомпьютера — компании “Т-Платформы”, пиковая производительность “СКИФ Cyberia” (в нём 283 вычислительных узла, cодержащих, в общей сложности, 566 двухъядерных процессоров Intel Xeon серии 5150) достигает 12 триллионов операций в секунду (Тфлопс), а результат исследования производительности системы в стандартном тесте Linpack показал 8,945 Тфлопс. Таким образом, “СКИФ Cyberia” стал самым мощным вычислительным комплексом на территории Восточной Европы и попал в сотню мощнейших компьютеров мира по рейтингу Top500.
Проект осуществлялся в тесном сотрудничестве с Институтом программных систем РАН (ИПС РАН), а также с корпорациями Intel и Microsoft.
Генеральный директор компании “Т-Платформы” Всеволод Опанасенко сообщил, что “СКИФ Cyberia” может функционировать как под управлением ОС SUSE Linux Enterprise Server 9, так и под управлением ОС Microsoft Windows Computer Cluster Server 2003. Предполагается, что привычная многим пользователям среда разработки этой ОС и лёгкость её интеграции с существующими в компаниях инфраструктурой и приложениями значительно облегчат и ускорят процесс создания приложений для высокопроизводительных вычислений.
“СКИФ Cyberia” построен с учётом опыта, накопленного “Т-Платформами” в процессе реализации российско-белорусского проекта СКИФ, осуществлённого в 2000—2004 гг. и завершившегося строительством 288-узлового кластера “СКИФ К-1000” (см. PC Week/RE, № 44/2004, , с. 1). По словам г-на Опанасенко, при сопоставимом количестве вычислительных узлов и энергопотреблении “СКИФ Cyberia”, в котором используются более мощные процессоры и различные архитектурные ухищрения почти в пять раз превосходит своего предшественника по производительности.
Заведующий кафедрой механики твердого деформируемого тела ТГУ Владимир Скрипняк сообщил, что доступ к ресурсам нового суперкомпьютера будет обеспечен не только сотрудникам ТГУ, но и широкому кругу пользователей из Краснодара, Бийска, Новосибирска, Москвы и других городов. Это возможно благодаря тому, что для связи с внешним миром ТГУ имеет очень развитую телекоммуникационную структуру, включающую среди прочего каналы связи с использованием спутника “Ямал-200”. Предполагается, что суперкомпьютерный ресурс ТГУ станет ключевым элементом вычислительной инфраструктуры Томской области и других регионов Сибири.
Среди задач, которые могут быть решены с помощью нового суперкомпьютера, исполнительный директор программы СКИФ от РФ, директор ИПС РАН, член-корреспондент РАН Сергей Абрамов назвал комплексный экологический мониторинг атмосферы и гидросферы, контроль за разливом рек, распространением пожаров и эпидемий, рациональное использование лесных и минеральных ресурсов, новые конкурентоспособные методы разведки нефтегазовых месторождений, восстановление загрязненных почв, проектирование ракетно-космической техники и безопасного шахтного оборудования, создание новых видов ракетного топлива и сверхтвердых покрытий с помощью нанотехнологий.
По словам г-на Абрамова, финансирование работ по созданию “СКИФ Cyberia” производилось из средств, выделенных ТГУ как одному из 17 победителей конкурса образовательных учреждений высшего профессионального образования. При этом инвестиции в данный проект составили чуть более 50 млн. рублей (около 0,6% от общей суммы, предусмотренной федеральным бюджетом для реализации инновационных образовательных программ в 2006—2007 годах).
Технические подробности проекта “СКИФ Cyberia”
Вычислительные узлы суперкомпьютера базируются на системных платах, специально модифицированных по заказу специалистов “Т-Платформ” и изготовленных на Тайване. В частности, для достижения наилучшей производительности в вычислительных задачах стандартный серверный набор микросхем в них заменили на чипсет Intel 5000x, обычно используемый для строительства графических станций. В дополнение к этому разработчики применили технологии системной сети QLogic InfiniPath и системы хранения данных T-Platforms ReadyStorage ActiveScale Cluster.
Система хранения данных “СКИФ Cyberia” представляет собой NAS с параллельной файловой системой. Она разработана американской фирмой Panasas специально для кластерных систем и обеспечивает прямой параллельный доступ всех вычислительных узлов к данным, устраняя узкие места традиционных сетевых хранилищ. Данное решение хорошо масштабируется: при подключении новых модулей хранения возрастает не только объем хранилища, но и пропускная способность всей системы. Мониторинг кластера и управление системой обеспечивает сервисная сеть СКИФ ServNet разработки ИПС РАН.
Суммарная мощность, потребляемая суперкомпьютером, сейчас cоставляет 120 кВт, но система бесперебойного электропитания “СКИФ Cyberia” имеет мощность 160 кВт и обеспечивает напряжение с заданными характеристиками на всех компонентах вычислительной системы, а также защиту от сбоев в подаче электричества. Она способна поддерживать работу суперкомпьютера в течение 10 минут после отключения внешнего электропитания, что вкупе со специальным ПО позволяет гарантировать сохранность пользовательских данных в аварийной ситуации. Резерв нужен потому, что ТГУ оставляет за собой возможность расширить вычислительные мощности суперкомпьютера.
Для надёжности работы оборудования, установленного в небольшом по площади помещении вычислительного центра ТГУ, инженеры “Т-Платформ” спроектировали смешанную воздушно-водяную систему охлаждения с уровнем резервирования N+1 на всех уровнях. Блоки кондиционеров, расположенных в ряду монтажных шкафов, обеспечивают забор горячего воздуха непосредственно из вычислительных узлов. Затем воздух охлаждается водой в теплообменниках и уже холодным подается с передней стороны вычислительных стоек. Для охлаждения нагретой воды используется фреон в холодильных установках, конденсаторы которых находятся на крыше вычислительного центра.
|
Таблица
Основные технические характеристики “СКИФ К-1000” и “СКИФ Cyberia”
Параметр | “СКИФ К-1000” | “СКИФ Cyberia” |
Пиковая производительность, Тфлопс | 2,534 | 12,000 |
Производительность на тесте Linpack, Тфлопс | 2,032 | 8,945 |
Тип используемых процессоров | 2,2 ГГц одноядерный AMD Opteron | 2,66 ГГц двухъядерный Intel Xeon 5150 |
Число двухпроцессорных вычислительных узлов | 288 | 283 |
Конструктив узла | 1U | 1U |
Конструктив компьютера | 8 стоек, 36 узлов в стойке | 8 стоек, 36 узлов в стойке |
Оперативная память вычислительных узлов, Гб | 1152 (288х8х0,5) | 1128 (282х4х1) |
Дисковая память вычислительных узлов, Гб | 23 040 (288х80) | 22 560 (282х80) |
Тип системной сети | Infiniband | Qlogic InfiniPath |
Тип управляющей (вспомогательной) сети | Gigabit Ethernet | Gigabit Ethernet |
Тип сервисной сети | СКИФ-ServNet | СКИФ-ServNet |
Суммарная длина кабельных соединений | Свыше 2 км | Свыше 2 км |
Потребляемая мощность вычислительной установки, кВт | 89 | 90 |
Максимально допустимая температура окружающей среды, °С. | 30 | 35 |
Операционные системы, под управлением которых может работать вычислительная установка | Linux-SKIF | SUSE Linux Enterprise Server 9 и Microsoft Windows Computer Cluster Server 2003 |
|