Лабораторная работа №9 неразрушающее сжатие информации

Степень связанности распараллеленной задачи

Достаточно условно, но можно выделить два класса задач, поддающихся распараллеливанию:
а) сильносвязанные распараллеленные задачи
б) слабосвязанные распараллеленные задачи.


Слабосвязанные задачи – те из распараллеленных задач, в которых выполняющиеся параллельно отдельные ветви (потоки), в значительной степени - независимы друг от друга (обмен данными между потоками редок, и постоянная синхронизация (согласование хода выполнения) потоков не требуется).


Сильносвязанные задачи – те из распараллеленных задач, в которых выполняющиеся параллельно отдельные ветви (потоки), в значительной степени – связаны друг с другом (обмен данными между потоками требуется часто, или требуется постоянная синхронизация (согласование хода выполнения) потоков). К таким задачам, как правило, относятся, например, такие задачи в которых в потоках - обрабатываются одни и те же массивы данных.


Степень связанности распараллеленной задачи существенно влияет на требования, предъявляемые к многопроцессорному вычислителю:


Слабосвязанные задачи могут достаточно эффективно решаться на любом многопроцессорном вычислителе, даже и таком, в котором отдельные процессоры связаны - слабо (например реализованы как отдельные ЭВМ связанные между собой скоростной локальной сетью, такие многопроцессорные ЭВМ принято называть "кластерными вычислителями"). "Кластерные вычислители" очень часто рассматривают как особую разновидность многопроцессорной ЭВМ, но многие авторы, рассматривают этот класс вычислителей и отдельно, не относя к "многопроцессорным ЭВМ".


Сильносвязанные задачи могут эффективно решаться только на таких многопроцессорных ЭВМ, в которых обеспечены "широкие" (т.е. способные передать в течении интервала времени немалое кол-во данных) и "короткие" (или, другими словами, "низколатентные" т.е. способные доставлять данные от процессора к процессору без существенных задержек доставки) каналы межпроцессорной связи. Такую связь возможно реализовать лишь используя для связи процессоров - специальные высокоскоростные каналы передачи данных ("высокоскоростные каналы прямой межпроцессорной связи"), или используя "общий кэш" (или, другими словами, "разделяемый кэш" - кэш, прямой доступ к которому реализован для нескольких процессоров). Как вариант, для межпроцессорной связи может использоваться и "общее ОЗУ" ("разделяемое ОЗУ"), но в этом случае обмен данных между процессорами, таки, явно получается медленней чем через общий кэш, и во многих случаях, медленней чем при использовании специальных высокоскоростных каналов прямой межпроцессорной связи.