Nima uchun parallel hisoblash kerak?

1-bob
Nima uchun parallel hisoblash kerak?.................................. 1
1.1 Nima uchun biz doimo ortib borayotgan samaradorlikka muhtojmiz ................... 2
1.2 Nima uchun biz parallel tizimlar qurmoqdamiz ......................... 3
1.3 Nima uchun biz parallel dasturlar yozishimiz kerak ...................... 3
1.4 Parallel dasturlarni qanday yozamiz? ......................... 6
1.5 Biz nima qilamiz ...................................... .. 8
1.6 Bir vaqtning o'zida, parallel, taqsimlangan ................................... 9
1.7 Kitobning qolgan qismi ............................................. 10
1.8 Ogohlantirish so'zi ................................................ .. 10
1.9 Tipografik konventsiyalar ...................................... 11
1.10 Xulosa ................................................. ............ 12
1.11 Mashqlar.

2-BOB
Parallel apparat va parallel dasturiy ta’minot ................... 15

2.1 Ba'zi ma'lumotlar ................................................... .. 15
2.1.1 Fon Neyman arxitekturasi ...................... 15
2.1.2 Jarayonlar, ko'p vazifalar va oqimlar .................. 17
2.2 Fon Neyman modeliga o'zgartirishlar ...................... 18
2.2.1 Keshlash asoslari................................. 19
2.2.2 Kesh xaritalari ...................................... 20
2.2.3 Keshlar va dasturlar: misol ................ 22
2.2.4 Virtual xotira ...................................... 23
2.2.5 Ko'rsatma darajasidagi parallelizm .......................... 25
2.2.6 Uskunani ko‘p qirrali o‘rnatish...................... 28
2.3 Parallel apparat ............................................. .. 29
2.3.1 SIMD tizimlari ................................... 29
2.3.2 MIMD tizimlari ...................................... 32
2.3.3 O‘zaro bog‘lanish tarmoqlari .......................... 35
2.3.4 Kesh muvofiqligi ................................................ 43
2.3.5 Umumiy xotira va taqsimlangan xotira ......... 46
2.4 Parallel dasturiy ta'minot ................................................... ... 47
2.4.1 Ogohlantirishlar ............................................. .... 47
2.4.2 Jarayonlarni/iplarni muvofiqlashtirish................... 48
2.4.3 Umumiy xotira .......
2.4.4 Taqsimlangan-xotira ................................... 53
2.4.5 Gibrid tizimlarni dasturlash .......................... 56
2.5 Kirish va chiqish ............................................. .... 56
2.6 Ishlash ................................................... ....... 58
2.6.1 Tezlashtirish va samaradorlik ................................ 58
2.6.2 Amdal qonuni ............................................. 61
2.6.3 Masshtablilik ................................................ 62
2.6.4 Vaqtlarni qabul qilish ................................................ 63
2.7 Parallel dasturni loyihalash ......................................... 65
2.7.1 Misol ................................................... 66
2.8 Parallel dasturlarni yozish va ishga tushirish...................... 70
2.9 Taxminlar ................................................ ....... 70
2.10 Xulosa ................................................. ............ 71
2.10.1 Seriyali tizimlar ............................................. 71
2.10.2 Parallel apparat ...................................... 73
2.10.3 Parallel dasturiy ta'minot ...................................... 74
2.10.4 Kirish va chiqish ...................................... 75
2.10.5 Ishlash................................................. 75
2.10.6 Parallel dasturni loyihalash ................................ 76
2.10.7 Taxminlar ...................................... 76
2.11 Mashqlar ..

3-bob

MPI bilan taqsimlangan xotira dasturlash ................. 83
3.1 Ishni boshlash ................................................... ...... 84
3.1.1 Tuzish va bajarish................................ 84
3.1.2 MPI dasturlari...................................... 86
3.1.3 MPI boshlash va MPI yakunlash .......................... 86
3.1.4 Kommunikatorlar, MPI Comm hajmi
va MPI Comm darajasi................................. 87
3.1.5 SPMD dasturlari ...................................... 88
3.1.6 Aloqa ...................................... 88
3.1.7 MPI yuborish ............................................. ... 88
3.1.8 MPI qabul qilish ............................................. ... 90
3.1.9 Xabarni moslashtirish ...................................... 91
3.1.10 Holat p argumenti ................................ 92
3.1.11 MPI Send va MPI Recv semantikasi ................ 93
3.1.12 Ba'zi mumkin bo'lgan tuzoqlar ................................ 94
3.2 MPIda trapezoidal qoida ................................ 94
3.2.1 Trapetsiya qoidasi ................................ 94
3.2.2 Trapetsiya qoidasini parallellashtirish ...................... 96
I/U bilan ishlash ................................................ ..... 97
3.3.1 Chiqish ............................................. ..... 97
3.3.2 Kirish ................................................... ....... 100
3.4 Kollektiv muloqot....................................... 101
3.4.1 Daraxt tuzilmali aloqa...................... 102
3.4.2 MPI kamaytirish ................................................ 103
3.4.3 Kollektiv va nuqtadan nuqtaga aloqalar ........ 105
3.4.4 MPI Allreduce ...................................... 106
3.4.5 Efir ................................................. .. 106
3.4.6 Ma’lumotlarni taqsimlash ...................................... 109
3.4.7 Tarqalish ............................................. ..... 110
3.4.8 Yig'ish ............................................. ..... 112
3.4.9 Allgather ................................................ .. 113
3.5 MPI olingan ma'lumotlar turlari ................................................ 116
3.6 MPI dasturlari samaradorligini baholash...................... 119
3.6.1 Vaqtlarni qabul qilish ................................................ 119
3.6.2 Natijalar...................................... ..... 122
3.6.3 Tezlashtirish va samaradorlik ................................ 125
3.6.4 Masshtablilik ............................................. 126
3.7 Parallel saralash algoritmi ................................... 127
3.7.1 Ba'zi oddiy ketma-ket tartiblash algoritmlari ................ 127
3.7.2 Parallel toq-juft transpozitsiya tartiblash ................... 129
3.7.3 MPI dasturlarida xavfsizlik ................................ 132
3.7.4 Parallel toq-juft tartiblashning yakuniy tafsilotlari ................ 134
3.8 Xulosa ................................................. ............ 136
3.9 Mashqlar ................................................ ............ 140
3.10 Dasturlash topshiriqlari ...................................... 147