O‘yilgan biror masalani ehmda yechish uchun, avval uning matematik modelini, keyin algoritmini va programmasini tuzish kerak bo‘ladi. Bu uchlikda algoritm bloki muhim ahamiyatga EGA

Bir nechta qoida / bir nechta ma’lumotlar oqimi MIMD
Bu kategoriya kategoriyalar orasida ancha murakkabidir. MIMD –sistemalar holatida biz o’z qoidasini amalga oshira oladigan bir nechta protsessor bilan ish ko’ramiz. Bundan tashqari, bir nechta ma’lumotlar oqimi ham mavjud va har qaysi protsessor o’z ma’lumotlar to’plami bilan ishlay oladi. Bu amaliyotda MIMD – sistema har qaysi protsessorda o’z dasturini yoki o’sha dasturning alohida qismlarini yoki SIMD – konfiguratsiyaday vektorli amallarni bajara olishini anglatadi. Ko’pchilik parallelizmning yangicha yondashuvlarida, masalan komyuter klasterlari yoki multiprotsessorli sistemalarning asosida MIMD – kategoriya yotadi.

Parallel kompyuterlar tizimlari arxitekturasida ikkita jihat asosiy rol o’ynaydi:

• 
  Protesssorlar va ularning xotiralari o’zaro qanday bog’langanligi;
  
• 
  Protsessorlarning qanday o’zaro ta’sir qilishi.
  

Parallel algoritmlarni muhokama qilganda biz ana shu jihatlar haqida gapiramiz. Negaki u yoki bu yechimlar turli masalalar uchun turli samaradorlikka ega bo’lishi mumkin.

Kuchsiz bog’langan mashinalarda ham protsessor o’z xususiy xotirasiga ega. Lekin protsessorlar o’rtasidagi aloqa tarmoq kabellari orqali amalga oshiriladi.

Kompyuterlar klasterlarining arxitekturasi quyidagicha:

• 
  Klasterning har bir kompyuteri alohida kompyuter tizimi va mustaqil ishlay oladi.
  
• 
  Parallellik bosh boshqaruvchi kompyuter orqali masalani kompyuterlarga taqsimlash hisobiga amalga oshiriladi.
  

Shina aloqali mashinalarda barcha protsessorlar umumiy markaziy xotiradan foydalanadi. Protsessorlar o’rtasida o’zaro ta’sir shunday amalga oshiriladiki, bunda ulardan biri axborotni umumiy xotiraga yozadi, boshqalari esa shu yerdan o’qib oladi.

• 
  Parallel algoritmlarni va dasturlarni shakllantirish bir qancha mustaqil bosqichlardan iborat. Bularni 4 ta asosiy bosqichlarga bo’lishimiz mumkin:
  
  • 
    1-bosqich. Dekompozitsiya;
    
  • 
    2-bosqich. Kommunikatsiyani loyihalash;
    
  • 
    3-bosqich. Mustahkamlash;
    
  • 
    4-bosqich. Hisoblashni rejalashtirish;