Многомашинные вычислительные системы

 

 


Мы уже затрагивали вопрос многопроцессорности и организации параллельных вычислений. Здесь нужно отметить, что совместная работа нескольких вычислителей (процессоров или компьютеров) – это будущее развития средств вычислительной техники. Неограниченный рост тактовых частот микропроцессоров невозможен! Это обусловлено конечной скоростью движения электронов, которая напомню, составляет 300 000 км/с (скорость света). Более того, увеличение числа активных элементов (например, транзисторов) на микросхеме приводит к возрастанию потребляемой и выделяемой мощностей.

Поэтому все чаще вычисления организуют с применением нескольких вычислительных машин - многомашинные1вычислительные системы (МВС) [15]. Локальная вычислительная сеть, с помощью которой связаны в единую информационную среду ЭВМ в компьютерной аудитории университета, может служить примером организации многомашинной вычислительной системы. Отличия только в том, что нет коммуникационного центра (выделенный компьютер плюс специальное ПО), управляющего организацией работы над одной задачей.



Рис. 4.1. Схема многомашинной вычислительной системы

Обобщенная схема МВС представлена на рис. 4.1. МВС – это единая информационно-коммуникационная среда, связаннаявысокоскоростной коммуникационной сетью (ВКС). В узлах сети расположены ЭВМ, связанные с ней коммуникационными процессорами, необходимыми для связи при выполнении задачи. Каждая ЭВМ внутри МВС работает под управлением собственной операционной системы.

Глубоко в теоретические основы функционирования мультикомпьютеров мы вторгаться не будем, гораздо интереснее, по-моему, рассмотреть конкретные примеры их реализации. Пожалуй, самые известные и популярные мультикомпьютеры –процессоры с массовым параллелизмом (Massively Parallel Processors - MPP). Это очень дорогие суперкомпьютеры, стоимость которых может составлять несколько миллионов американских долларов. MPP используются для выполнения сложных вычислений (например, при построении моделей сложных объектов), управления распределенными базами данных, имеющими огромные размеры, обработки большого числа транзакций за короткое время (например, в транснациональных банках).

ПРИМЕЧАНИЕ

В большинстве MPP используются стандартные процессоры фирм Intel, AMD, Sun, IBM и ряд других.

Какими бы производительными не были процессоры, скорость обработки информации в MPP-структуре будет зависеть от имеющейся высокоскоростной коммуникационной сети, а именно от ее пропускной способности и времени запаздывания. Обе характеристики крайне важны для MPP.

Программное обеспечение MPP-систем стоит очень больших денег и наряду с отмеченными нами параметрами является определяющей характеристикой MPP.

Огромное число процессоров, дисковых массивов и микросхем памяти просто не может работать «нормально» без сбоев и отказов. Поэтому в MPP имеются программно-аппаратные средства мониторинга состояния работы устройств, средства резервирования (когда часть устройств дублируется), а также реализована возможность «горячей» (без остановки работы MPP) замены вышедших из строя процессоров.

Обещанный интересный пример, на базе которого мы посмотрим принципы работы MPP-систем – это процессор с массовым параллелизмом Blue Gene компании IBM.

ПРИМЕЧАНИЕ

Blue Gene был задуман в 1999 году как суперкомпьютер для решения вычислительных задач большой сложности в биологии. Планировалось решать задачи моделирования молекулярной динамики (например, белков). IBM вложила в разработку Blue Gene 100 млн. долларов. И уже в ноябре 2001 года появился первый заказчик, которым стала национальная лаборатория Ливемора, функционирующая в системе департамента энергетики США [6].

Первенство и лидирующие позиции, закрепленные за IBM благодаря революционным решениям и нетрадиционным подходам при разработке вычислительной техники, позволили в очередной раз добиться впечатляющих успехов. Однако в процессе работы над Blue Gene инженеры компании отказались от идеи применения самых производительных компонентов, имеющих высокую стоимость. Вместо этого свет увидел однокристальный модуль, обладающий требуемым соотношение стоимость/производительность и умеренным энергопотреблением.

Заинтересованный читатель сможет подробно ознакомиться с его устройством в книге [6].

Этот модуль, представлял собой специализированную схему, состоящую из двух ядер PowerPC 4402, работающих с тактовой частотой 700 МГц. Оба процессора абсолютно идентичны, но используются для различных целей. Первый для выполнения вычислений (вычислительный), а второй для организации нормального взаимодействия с узлами (модулями) MPP (коммуникационный), которых в Blue Gene/L 65 535.

На микросхеме модуля расположены три микросхемы кэш-памяти – 1, 2 и 3-го уровней. Интересно то, что 1-й уровень – это кэш 1-го процессора, а 2-й уровень – это кэш 2-го процессора. Такое разделение обусловлено тем, что PowerPC не поддерживают разделяемый кэш.

Для более высокого уровня в IBM разработали плату, на которую устанавливается две описанных выше микросхемы и оперативная память емкостью 1 Гб.

Платы монтируются на встраиваемые панели, по 16 плат на панель. Следующий уровень представляет собой монтаж панелей в стойки – 16 в верхнюю ее часть, а 16 в нижнюю3. Стойка имеет габаритные размеры 60х90 см. Верхняя и нижняя части стойки разделены переключателем. Это позволяет независимо извлекать верхнюю или нижнюю ее части для технического обслуживания или замены, в то время как вторая (резервная) группа продолжает работу.

Скорее всего, читая этот раздел, вы все время задавали себе один и тот же вопрос (если вы внимательный и прилежный студент). Почему если все время идет разговор о процессорах, сама MPP-структура отнесена к мультикомпьютерам? Ответ достаточно прост!? Ни один процессор не имеет доступа к общей памяти, доступ есть только к памяти на плате модуля. А также имеются 1024 узла ввода-вывода, которые соединяются с дисками и периферийными устройствами [6].

ПРИМЕЧАНИЕ

Среднее время наработки на отказ Blue Gene/L очень велико для подобного рода систем и составляет 10 дней. Т.е. благодаря качественной и тщательной проработке систем питания, охлаждения и др. система работает без отказов в течение 240 часов.

Для подключения всех микросхем требуется масштабируемая и высокопроизводительная схема соединений, в качестве которой выбран трехмерный тор размером 64х32х32 (рис. 4.2). Каждой микросхеме требуется 6 линий связи – 2 для соседей сверху и снизу, 2 для тех, что с севера и юга и 2 для тех, что с запада и востока. Все соединения в системе являются двухточечными и работают на скорости 1,4 Гбит/с [6].



Рис. 4.2. Blue Gene/L система, каждый ряд состоит из 8 стоек, число рядов равно 8

Внутри тора взаимодействие происходи с использованием так называемой виртуальной сквозной маршрутизации (virtual cut through routing). Однако это не единственная сеть внутри Blue Gene. Всего таких сетей 5. Например, 4 и 5 построены по технологии Gigabit Ethernet и необходимы для связи узлов ввода-вывода с файловыми серверами, не входящими в Blue Gene/L и с Интернет, а также для отладки системы [6].

Каждый узел функционирует под управлением специализированной операционной системы, поддерживающей один процесс иодного пользователя.


Лекция добавлена 28.02.2013 в 02:45:28