Все новости от 12 марта 2002 г.

Новое лицо НИЦЭВТ

НИЦЭВТ — бывший головной институт Минрадиопрома по вычислительной технике. У этого НИИ довольно яркая биография. И сейчас, после черной полосы своей истории, институт начинает шаг за шагом восстанавливать утраченные позиции.

Мои собеседники — генеральный директор НИЦЭВТ Валерий Викторович Митрофанов и начальник сектора высокопроизводительных систем Леонид Константинович Эйсымонт.

PC Week: Когда-то в НИЦЭВТ работало больше семи тысяч человек. Сколько сотрудников у вас сейчас?

Валерий Викторович Митрофанов

Валерий Митрофанов: Сейчас у нас 500 человек. Коллектив неплохой — много молодежи, выпускники мехмата, МИФИ. 160 человек из общего числа трудятся на опытном производстве.

Мы его сохранили, и ежегодно объем производства растет в два раза. В 1990 г. это был ноль, в 1998-м — около 3 млн. руб. (в сегодняшних ценах), в 2000-м — 12 млн.; в прошлом году мы вышли на 25 млн. руб. На самом деле цифры небольшие, но тем не менее они свидетельствуют о росте.

Мы делаем печатные платы всех классов сложности до пятого включительно, многослойные печатные платы — до 24 слоев. Сегодня регулярно делаются 14-слойные платы. Сейчас наше производство находится на достаточно высоком уровне. Заказы мы получаем от различных структур, в частности от судостроителей, авиаторов.

PC Week: Тем не менее производство плат в Азии обходится гораздо дешевле. В чем причина?

В. М.: Это все касается больших серий плат. У нас опытное производство с соответствующим уровнем автоматизации всех процессов, пока у нас нет конвейера. Моя задача — сделать серийный завод, тогда мы выйдем на тот самый уровень цен.

Однако то, что раньше удавалось получать от государства, сегодня нужно отрывать от себя. По сложным многослойным платам, кстати, наши цены ниже азиатских. Более того, нам и самим выгоднее делать многослойные платы.

Изготавливаем мы также гибко-жесткие платы. Представьте себе — платы, соединенные гибким 4—6-слойным шлейфом. Сейчас в России это никто не делает. Такие платы пока можно увидеть только на выставках. Пытаемся делать платы на полиамидной основе, которые выдерживают температуры до 400°С, для особых условий работы.

Надо сказать, что рынок печатных плат в настоящее время достаточно обширный и высококонкурентный.

PC Week: Раньше на советских заводах были серьезные проблемы с текстолитом. Как сейчас?

В. М.: Сегодня все импортное. Мы покупаем текстолит и всю комплектацию в основном в Молдавии. Единственное, что берем в России, — это пленку в Переславле-Залесском. Сейчас НИЦЭВТ все больше обращает внимание на потребительский рынок.

Так сложилось, что когда нужно было поднимать НИЦЭВТ из руин, единственное, что можно было найти, — это госзаказ, хотя госзаказ нас в свое время всех и утопил, так как за выполненную работу государство денег не платило. НИЦЭВТ пострадал в свое время и на программе ЕС ЭВМ — это тоже был госзаказ. Нам удалось на данный момент избавиться от долгов.

Сейчас мы можем с оптимизмом смотреть в будущее и развивать те направления, которые считаем перспективными. Особое удовольствие доставляет создание высокопроизводительных кластерных систем. Эта работа проводится в рамках госзаказа РАСУ и российско-белорусской программы.

Что мы уже сделали? Создали технологию сборки таких машин, в 2000 г. изготовили две 32-процессорные машины. Одна из них передана в Институт программных систем (ИПС) РАН (Переславль-Залесский), другая — в Белоруссию нашим соразработчикам.

PC Week: Это не та программа, что называется “Скиф”?

В. М.: Да, это “Скиф”. НИЦЭВТ является ядром кластерного направления этой программы. В прошедшем году мы изготовили и исследовали несколько образцов кластерных систем на новом поколении современных технических средств и с топологией различного типа (двухмерный тор, трехмерный тор, коммутируемые кольца).

Удивительно, что еще до окончания темы, вы, как разработчик, представляете, о чем речь. мы порядка 12—14 машин уже поставили пользователям. Сегодня на стенде стоят еще три или четыре машины.

PC Week: Известно, что большинство суперкомпьютеров строилось на процессорах Alpha. Какую базу используете вы?

В. М.: Мы это делаем на интеловских процессорах. Это на сегодня наиболее экономичное решение. Другим экономичным и эффективным решением оказалось применение при построении кластерных систем очень высокоскоростной сети SCI (Scalable Coherent Interfase).

Пропускная способность этой сети — 667 Мб/с, минимальная задержка — около 1,5 мкс. В 1999 г. норвежская фирма Dolphin Interconnect Solutions вышла на рынок с SCI-адаптером.

Мы впервые в России попробовали использовать ее в кластерных системах и уже летом 1999 г. собрали первый 8-процессорный кластер с топологией “двухмерный тор”. Проведенные измерения превзошли все ожидания — производительность такого SCI-кластера оказалась на уровне классической супер-ЭВМ Cray T3E.

Сегодня такие 30—40-процессорные SCI-кластеры уже широко используются в ведущих вузах страны (МГУ, СПГУ, МГТУ, МФТИ). И привлекательны они в первую очередь очень хорошим показателем “стоимость/производительность”.

PC Week: А кто занимается программным обеспечением в программе “Скиф”?

В. М.: В рамках российско-белорусской программы ПО занимается Институт программных систем РАН, ведущий в российско-белорусской программе по “Скифу”. Мы являемся соисполнителями.

PC Week: Как вы измеряете производительность комплекса?

В. М.: Мы работаем прежде всего с общепризнанной системой канонических тестов NASA, по которой измеряют и сравнивают производительность супер-ЭВМ во всем мире. Она содержит восемь задач, таких, как преобразование Фурье, решение трехмерной системы уравнений Навье — Стокса и т. д.

Результаты по каждой задаче потом сравниваются с измерениями на других вычислительных системах, и получается достаточно объективная оценка. Используем, конечно, классический сравнительный тест LINPACK, а также более специальные и сложные методики (PMB, HINT и т. д.). У нас сейчас мегафлопс производительности стоит менее пяти долларов, на Западе — 10—50.

Что касается других работ — мы продолжаем сопровождение ПО и машин ЕС ЭВМ. Нам удалось в 1999 г. получить значительное финансирование и закупить для особо критичных объектов мэйнфреймы IBM, не самые мощные, но тем не менее в 2—4 раза производительнее тех, что стоят на объектах. Где-то они уже заменяют ЕС ЭВМ, где-то работают пока в параллель, потому что не так просто это все реализовать.

Возникает масса проблем, начиная с обслуживающего персонала (сегодня вычислительные установки обслуживают десятки людей, а устанавливаются машины, которые в принципе обслуживать не надо) и заканчивая необходимостью перевода программ и данных на современные носители информации и т. д.

Мы открыли НИР на создание единой информационной среды для нужд госзаказа. В этой же связи появилась необходимость в системе управления базами данных. Мы заключили соглашение с немецкой фирмой Software AG (разработчиком СУБД Adabas) и пытаемся выйти на внутренний рынок с Adabas, который будет работать в среде Linux разработки НИЦЭВТ.

Стратегическая цель — поставить Adabas под Linux и сертифицировать его для работы в областях, связанных с гостайной. Кроме того, сегодня мы для ряда задач разрабатываем эмуляцию среды ОС ЕС на ПК.

PC Week: Какие заказы для вас были наиболее интересными в прошедшем году?

В. М.: НИЦЭВТ в течение двух или трех лет пытался разработать головку чтения записи для автоматов пропуска пассажиров в московский метрополитен. В прошлом году мы поставили полторы тысячи головок, которые успешно работают на станциях метрополитена и продолжим поставки в 2002 г.

Другая крупная работа прошлого года — решение проблемы идентификации железнодорожных вагонов. Мы ею занимались вместе с ЦНИРТИ, САМ и Зеленоградом. Зеленоград сделал микросхему, мы по конструкторской документации, разработанной в ЦНИРТИ, сделали плату. Но заказчику нужна была очень крупная серия. И вот тут мы не потянули. Требовалось делать три тысячи плат в сутки, а мы вышли на уровень двух тысяч. К сожалению, пришлось передать заказ на серийный завод.

PC Week: Американцы утверждают, что параллельные компьютеры скоро будут так же широко распространены, как и ПК. Кто у вас главный потребитель таких производительных комплексов?

Валерий Митрофанов: В основном ведущие российские вузы — МГУ им. М. В. Ломоносова, Физтех, МГТУ им. Н. Э. Буамана, Санкт-Петербургский университет и др. Мы их снабдили некоторым количеством комплексов, но теперь вузы постоянно наращивают производительность этих машин.

Одна из проблем — сегодня нет хорошего распараллеливающего компилятора, применяется только пакет MPI, который можно использовать в программах на Фортране и Си. Мы включили в свой план разработку подобных компиляторов. Параллельные компьютеры нужны также всем, кто связан, например, с прогнозированием погоды, с моделированием и конструированием новых машин.

PC Week: Нам очень часто приводят данные о производительности суперкомпьютеров на пакете Linpack, интересно, насколько эти оценки далеки от действительности?

Леонид Эйсымонт

Леонид Эйсымонт: Ситуация следующая: Linpack — это программа, которая работает с небольшим количеством обменов между процессорами и хорошо локализуется в кэшевых памятях.

Действительно, в мировой практике, да и в России, на Linpack оценивается верхняя граница реальной производительности машины. Допустим, у вас пиковая производительность — 100%. Так вот Linpack показывает производительность примерно 60—70% от пиковой. А нижняя граница реальной производительности оценивается на пакете NASA NPB 2.3, содержащем восемь различных задач, в том числе и очень чувствительных к межпроцессорным обменам.

О самих этих задачах мы знаем практически все — сколько там коммуникаций, сколько вычислений, какой процент промахов в кэш-память идет. Этот пакет дает 5—10% от реальной производительности. В жизни этот показатель где-то посередине. Один из центров Министерства энергетики США дал приз Гордона — Белла программе, эффективность, которой составила 40% от пиковой производительности. А реальные задачи рядовых пользователей обычно оцениваются в 15—20% от пиковой. На некоторых задачах при многопроцессорной обработке происходит снижение производительности до 0,1% от пиковой.

PC Week: Известно, что в многозадачных системах, например в ОС ЕС, производительность с ростом числа задач падала. Чем может быть вызвано падение производительности в многопроцессорных системах?

Л. Э.: У сети, соединяющей процессоры, есть два показателя — пропускная способность (это количество мегабайт в секунду) и реактивность сети. Последний появляется при выходе на счет с участием большого количества процессоров — это так называемая задержка передачи сообщений. Это происходит так. В одном узле вы начали передавать сообщение в момент времени t1, в другом, где вы должны его принимать, первый байт пришел в момент t2.. Все сообщение еще не получено, только первый байт поступил. Вот t2-t1 — это и есть задержка.

Понятно, что она зависит от буферизации сообщения и еще многих причин и с увеличением длины сообщения, вообще говоря, увеличивается. Профессионалу обычно достаточно назвать одну цифру, чтобы он сразу понял, с какой сетью имеет дело. Обычно говорят о задержке сообщения нулевой длины. Так вот, у сети Myrinet, широко используемой во многих суперкомпьютерах, измерения показали задержку около 20 мкс. У нас она меньше 4 мкс.

На семинаре в Президиуме РАН я показывал результаты исследования, которые года два назад провела фирма Cray. У них приблизительно такие же рекордно малые, порядка 2—3 мкс, задержки. Они искусственно стали эти задержки увеличивать — где-то до 30 мкс — и на большом количестве процессоров показали, как будет себя вести деградация задачи. В этом случае задача не вычисляется, а просто начинает “висеть в сети”. По такому поводу наши математики говорят, что не надо нарываться на плохие коммуникации, надо писать задачи так, чтобы минимизировать обмены.

В этом они правы. Но всегда ли это возможно? На практике мы уже столкнулись с задачами с большими обменами. Например, были задачи — расчет напряжения в коленвале двигателя пятой модели “Жигулей” и расчет статистической прочности охлаждаемой лопатки газотурбинного двигателя.

Что получилось — на четырех-пяти процессорах время счета у нас уменьшалось примерно в два с половиной раза, на десяти процессорах оно еще меньше, а на двенадцати время уже стало расти.

У нас есть профилировщики, которые позволяют отделить затраты на коммуникации и вычисления. С использованием этих средств можно узнать, какая была интенсивность многопроцессорных обменов, каковы длины передаваемых сообщений, временны/е диаграммы вычислительных процесов.

Для этих задач выяснили то, что и должно было быть, — 80% времени решения съедают коммуникации. То есть задачи в основном обмениваются данными между процессорами. Таким образом, с сетями шутки плохи. Есть и более глубокие проблемы, связанные с рассинхронизацией вычислений. Все эти разговоры — вот мы соберем персоналки, соединим сетью и все будет хорошо — это несерьезно. Так можно решать только некоторые задачи, промышленные применения требуют профессиональных решений.

PC Week: А как же общественная программа поиска внеземных цивилизаций SETI — они привлекли к участию владельцев полумиллиона компьютеров, разбросав по ним куски задачи?

Л. Э.: Это совершенно замечательная программа. Еще можно сказать о проекте GRID, который мы полностью поддерживаем. Но я категорически против вульгарного понимания этих проектов. Миллион мышей — это не один слон. У американцев так вопрос не ставят. У них есть ряд суперкомпьютерных центров с мощными вычислителями, где до 1000 процессоров, включая и вычислительные кластеры с мощными сетями. Так вот, главная ценность GRID — в возможности объединения мощностей этих центров.

Действительно, тонкие расчеты, где необходима сильная связанность процессов, т. е. имеются серьезные требования по обменам, в частности, когда считается обтекаемость двигателей или оперения самолета, — тут никуда не деться, это решается в суперкомпьютерных центрах на мощных вычислительных системах с быстрыми межпроцессорными связями.

Через GRID можно простыковать эти вычисления, например, если эти двигатели и т. д. — части огромного Боинга, для которого выполняется расчет обтекания в целом. Если обмены не очень сильные, такие задачи можно считать и через компьютерные сети. Но даже тут американцы сейчас переходят на Internet-2 и на новые стандарты.

Американцы, кстати, просчитывают разные архитектуры и коммуникационные сети. Так, для оценки различных сетей у них есть огромнейший полигон кластеров, созданный по проекту Carrier (авианосец). К авианосцам он никакого отношения не имеет, а аналогия появилась потому, что у них сейчас порядка двухсот с лишним вычислительных узлов, разбитых на подгруппы.

Каждая подгруппа под своей сетью. Сети самые разные: Myrinet, Giganet, SCI, Giga Ethernet, ATM и все что угодно. Группы узлов — как эскадрильи на палубе авианосца, отсюда и название. Все это исследуется, выявляются сильные и слабые стороны. Но ключевая тема центра, где ведется проект Carrier, — сети SCI, причем создание их новых вариантов. Работы поставлены очень серьезно.

PC Week: Так какая же сеть нужна, если от нее все так сильно зависит?

Л. Э.: Проблема в том, надо ли иметь между процессорами безумно быструю сеть, по которой вообще все мгновенно пересылается. Конечно, это важно, особенно сверхмалые задержки передачи сообщений. Японцы провели исследования: сеть идеальная, нулевые задержки, мгновенно все передается. На задачах все равно деградация наступает.

Причина — рассинхронизация вычислений — один процесс дольше вычисляется, другой быстрее, а время от времени происходит барьерная синхронизация, т. е. оба процесса выходят в одну точку и все равно возникают простои.

Тут проблема более фундаментальная — сейчас используются сильно синхронные вычислительные модели. А нужны более асинхронные. С этим уже согласуется подход, который сейчас американцы используют в машине Tera MTA-2. Это мультитредовая машина, а уже появилась Cray MTA-2 — КМОП-ский вариант машины.

На сегодняшний день Tera решает подобные проблемы идеально, поскольку в ней один процессор одновременно выполняет много процессов, причем микропроцессов. Сейчас ОС тоже выполняет много процессов, но у них время переключения огромно. В Gray MTA2 время переключения с процесса на процесс — один такт. Получается, что все обмены, а также обращения к памяти прикрыты вычислениями.

PC Week: Это должен быть “навороченный” специальный процессор, с кучей регистров, чтобы контенты переключать...

Л. Э.: Конечно. В современном варианте данное направление называется SMT-архитектура, параллельный мультитрейдинг. Сейчас здесь очень активно работают Intel и Sun, раньше — Compaq по линии Alpha 21464. В чем суть? За один такт команды для функциональных устройств читаются не с одного потока, а с нескольких.

Вот у Itanium, например, 17 функциональных устройств, поди попробуй с одного потока их загрузи. У Itanium сейчас первый вариант — однотредовый, а следующий-то вариант, MacKinly, уже мультитредовый.

Теперь, какое отношение мы к этому всему имеем? Дело в том, что худо-бедно, используя “отверточные” технологии профессиональной сборки компьютеров, мы все-таки вышли на машины с 30—50-миллиардной производительностью. А это уже инструмент. На нем мы можем моделировать принципы работы мультитредовых процессоров. При чем есть и российские варианты, например машина академика В. С. Бурцева, которую можно назвать уже постмультитредовой.

Дело в том, что в этой машине большая динамика образования и запуска тредов. Он, по существу, скрестил машину потоков данных с ассоциативным процессором. В плане достижения большей асинхронности здесь сделан существенный шаг вперед.

PC Week: Если теперь вернуться к архитектуре “Скифа”, то что лежит в его основе?

Л. Э.: В основе “Скифа” — здравые идеи кластерных систем с высокоскоростными и высокореактивными сетями, реконфигурируемые процессоры, динамическое распараллеливание программ (Е-система, ИПС РАН).

Еще одна идея, хотя и не техническая, но, быть может, наиболее ценная — восстановление совместных работ с Белоруссией в рамках Союзного государства. Если говорить о технической части, то в основе систем “Скиф” кластерного уровня лежат наши работы, которые мы начали два года назад, — это ТКС-1 (ТКС — типовая кластерная система). Далее были два образца 20-гигафлопных машин для программы “Скиф”. Об этом писалось в прессе.

Каждая наша машина имеет свой номер. Знаковые для нас машины прошлого — ТКС-17, ТКС-18 и ТКС-19. Сейчас уже сдана ТКС-24, другие машины готовятся. Мы сейчас работаем над ТКС30 с фантастически быстрыми вычислительными узлами. Мы обычно работаем в топологии двумерный тор на кольцевых структурах с центральным коммутатором. Сейчас пробуем уже трехмерный тор.

Вообще, тема “Скиф” — очень обширна и серьезна. Сегодня, например, возникли новые направления — внедрение уже полученных по программе образцов техники в промышленность. Этот процесс идет очень быстро, в частности по линии внедрения инженерных пакетов. НИЦЭВТ этим занимается, причем вместе с Санкт-Петербургским политехническим университетом, МГТУ им. Н. Э. Баумана, механико-математическим факультетом МГУ, ведущими промышленными организациями России и Белоруссии.

Это все — работы сегодняшнего дня. Завтрашний и послезавтрашний день — это работы по архитектурам и компиляторам для мультитредовых машин. Это уже новые работы НИЦЭВТ, нацеленные в будущее.

PC Week: Спасибо за беседу.