Маълумотларни интеллектуал таҳлили масалалари тадқиқи

Маълумотларни интеллектуал таҳлили масалалари тадқиқи

Одатда, маълумотларни интеллектуал таҳлили (МИТ) масалаларини ҳал қилиш қуйидаги босқичларни ўз ичига олади [11, 140-144-б., 37, 31-б., 133, 83-б., 120-б.].

1. 
   Предмет соҳасини таҳлил қилиш, тадқиқот мақсади ва вазифаларини шакллантириш;
   
2. 
   Маълумотларни ажратиб олиш ва сақлаш;
   
3. 
   Маълумотларга дастлабки ишлов бериш
   

• 
  маълумотларни турли хил “ҳалақит” ва “бўшлиқ”лардан тозалаш;
  
• 
  маълумотларни бирлаштириш;
  
• 
  маълумотларни қисқартириш;
  
• 
  маълумотларни акслантириш.
  

4. 
   МИТ усуллари орқали маълумотларни таркибини таҳлил қилиш (умумий қонуниятларни аниқлаш ёки нисбатан аниқ (конкрет) бўлган масалаларни ечиш);
   
5. 
   Олинган натижаларни нисбатан қулай бўлган шакл (формат)да тақдим этиш (визуаллаштириш, фойдали тимсолларни танлаш, информатив график ва/ёки жадвални шакллантириш);
   
6. 
   Қарор қабул қилишда янги билимлардан фойдаланиш.
   

МИТдан кўзланган аосий мақсад салмоқли маълумотларни ташкил этувчи маълумотлар ва/ёки маълумотлар мажмуаси бўйича илгари номаълум, ноаниқ, нотривиал, фойдали бўлган ахборотларни ажратиб олиш ва маълумотлар орасидаги ўзаро боғлиқликлари аниқлаш орқали янги билимларга эга бўлиш ҳисобланади. Қисқача қилиб айтганда, тадқиқот учун тақдим этилган маълумотлар мажмуасида МИТ орқали аниқланадиган қонуниятларни умумий кўринишда қуйидаги 5 хил турга ажратиб қараш мумкин; ассациялик, кема – кетлик, кластерлар ва вақтли қаторлар.
Маълумки, синфлар ва кластерлар бўйича қонуниятлар объектларнинг хоccалари, хусусиятлари ва уларни тавсифловчи белгилар мажмуаси орқали аниқланади. Маълумотлар мажмуасидаги ассоциативлик, кетма – кетлик ва вақтли қаторлар бўйича қонуниятлар эса ўзаро боғлиқ бўлган бир қатор ҳодисалар орқали аниқланади. Ассоциативлик, кетма – кетлик ва вақтли қаторлар бўйича қоннуниятлар мос равишда бир вақтда, кетма – кетлик (маълум бир вақт оралиғида) ва даврий равишда содир бўлган ҳодисалар орасидаги боғликни аниқлайди. Демак, ассоциативлик, кетма – кетлик ва вақтли қаторлар бўйича қонуниятлар вақт билан боғлиқ жараёнлар, синфлар ва кластерлар эса боғлиқсиз жараёнлар.
Юқорида келтириб ўтганимиздек, МИТ нафақат умумий қонуниятларни излаш билан, балки маълумотлар таҳлилини нисбатан конкрет (аниқ) бўлган хусусий масалаларини ҳам ҳал қилади.
Маълумотлар таҳлили масалаларини қуйидаги гуруҳларга ажратиб қараш мумкин:
1.Синфлаштириш (Classification). Синфлаштириш масаласида объектлар олдиндан синфларга (гуруҳларга) ажратилган бўлиб, янги келаётган тадқиқот объектлари хоссалари ва хусусиятларини таҳлил қилган ҳолда бирор бир ҳал қилувчи қоида орқали, уларни мавжуд синфларни қайси бирига тегишли эканлигини аниқлаш лозим бўлади. Демак, бу ерда асосий вазифа ҳал қилувчи қоидани кўришдан иборат. Мазкур масала тимсолларни таниб олишнинг энг асосий масаласи бўлиб ҳисобланиб, бу бўйича жуда кўплаб илмий ишланмалар мавжуд, масалан, эталонлар усули, бўлинувчи эталонлар усули, яқин қўшни, k- яқин қўшнилар, чизиқли ҳал қилувчи қоида, Байс ҳал қилувчи, дарахт, нейрон тўрлари, баҳоларни ҳисоблаш алгоритми генетик алгоритмлар ва бошқалар [6, 1979-1993-б.; 8, 29-31-б.; 10, 10-15б.; 22, 746-749-б; 24, 15-25б.; 28, 69-78б,; 29, 1906-1927-б,; 31, 127-130-бет; 32, 11-15-б.; 33, 10-29-б.; 42, 40-48-б.; 46, 57-66-б.; 49, 45-51-б.; 50, 51-61.; 51, 52-59-б.; 52, 1959-1966-б.; 32, 66-74-б; 79-92-б; 59, 100-106-б.; 273-292-б.; 78, 58-63-б.; 79, 84-94-б.; 80, 34-42-б.; 83, 138-б.; 89, 1-18 -б.; 96, 179-284-б.; 277-285-б.; 111, 476-482-б.; 112, 671-678-б.; 114, 1-7-б.; 115, 474-483-б.; 116, 118-133-б.; 127-168-б.; 126, 23-27.; 125, 101-132-б,; 130, 695-702-б.; 137, 137, 184-187-б.; 156, 1-6-б.; 157, 1-8-б.; 160, 20-23-б.; 166, 3158-3165-б.; 175, 248-252-б.; 193, 426-432-б.; 47, 59-67-б.; 75, 85-91-б.; 2, 22-б.]
2. Кластеризация (Clustering ).қўйилган мақсаддан келиб чиққан ҳолда тадқиқ қилинаётган объектлар, ўзларининг тавсифловчи белгилари қийматларига кўра бир жинсли гуруҳларга ажратилади. Объектларни гуруҳларга ажратишдаги асосий тамойил – гуруҳлараро масофа имкон қадар йироқ бўлсин, лекин гуруҳ ичидаги масофа эса аксинча, яъни имкон қадар яқин бўлсин. Ушбу масала ҳам тимсолларни таниб олиш назарияси ва амалиётининг классик масаларидан бўлиб, бу йўналишда ҳам бир қатор усул ва алгортимлар ишлаб чиқилган [23, 113-140-б.; 34-34-53 ва 158-165-б.; 39,36-45-б.; 40, 545-552-б.; 56, 95-125-б.; 63, 359-377-б.; 84, 145-151-б.; 106, 65-90-б.; 117, 4730-4742-.; 120,373-413-б.; 132, 651-666-б.; 133, 443-538-б.; 191, 275-283-.; 67, 78-82-б.; 138, 476-478-б.; 167, 243-256-256-б.]
3. Башоратлаш (Prediction). Мазкур турдаги масаларнинг ечими, яъни аниқланагн қонуниятлар қатор қабул қилишда муҳим аҳамиятга эга. Бу ердаги асосий вазифа объектларни тавсифловчи белгилар орасидаги ўзаро боғлиқлик қонуниятларни аниқлаш ҳамда шу қонуниятлар асосида объектнинг аниқланмаган, тушириб қолдирилган ёки қабул қилиши мумкин бўлган қийматини баҳолашдан иборат. Башоратлаш масаласини ҳал қилиш бўйича ҳам бир қатор усул ва алгоритм ишлаб чиқилган, хусусан, чизиқли регрессия, нейрон тўрлари, башоратлаш дарахти ва ҳоказолар [18, 11-16-б.;23, 113-140-б.; 125, 43-93-б.;133, 90-105,30-359-б.;149, 4363-4378-б.; 154, 1-16-б.; 172, 4361-4392-б.; 182, 274-284-б.; 183, 483-496.; 185, 1207-1218-б.; 192, 22-31-б.]
4. Ассоциатиклик ва ўзаробоғлиқликларни таҳлил қилиш (Associations, Link Analysis). Маълумотлар мажмуасидаги ўзаро боғлиқлик қонуниятларини аниқлаш масалалари ҳал қилинади. Буларга мисол сифатида, Apriori, FP-growth, Eclat алгоритмлар оиласини келтириб ўтиш мумкин [23, 14-б.; 64, 42-50-б.; 105, 461-473-б.; 133, 243-319-б.]
5. Визуаллаштириш (Vizuaallization). Визуаллаштириш бу қайсилар маънода ҳисоблашни якуний натижаларига кўра олиш, ҳисоблаш жараёнларини бошқаришни ташкил қилиш ва ҳаттоки, навбатдаги ҳаракат учун мақбул йўналишини танлаш учун бошланғич маълумотларга қайтиш имконини берувчи восита бўлиб ҳисобланади. Визуаллаштириш орқали тадқиқ қилинаётган маълумотларнинг график тимсоли яратилади. Маълумотларни визуаллаштириш қуйидагиларни бири кўринишида берилиши мумкин: график, схема, гистограмма, диаграмма ва бошқа.
6. Маълумотлардаги истисно, “ҳалақит”, “чиқинди”ларни аниқлаш ва таҳлил қилиш (Deviation (Anomaly) Detection, Outlier Analysis). Мазкур масала ҳал қилинаётганда умумий маълумотлардан сезиларли даражада фарқ қилувчи маълумотлар ёки уларнинг қисмлари аниқланади ва таҳлил қилинади. Маълумотлар ёки маълумотлар мажмуасидаги бундай ҳолатларни аниқлашда кластеризация усу ва алгоритмларидан, аниқланган “нуқсон”ларни юмшатишда чизиқли регрессия, тўпламли чизиқли регрессия (Multiple linear regression). Биннинг усули (Binning methods) фойдаланиш мумкин бўлади [105, 461-473-б.; 133, 89-98-б.].
7. Баҳолаш (Estimation)/бунда белгиларнинг узлуксиз қийматлари башоратланади, масалан, оиладаги машиналар сонига кўра оила даромадини аниқлаш.
8. Муҳим белгиларни таниб олиш (Feature selection, Feature Engineering). Ушбу масала орқали тадқиқот объектларини оптимал тавсифловчи информатив белгилар мажмуаси аниқланади. Ушбу масала, одатда, белгилар фазоси ўлчовини камайтириш деб аталиб, бу йўналишда жуда кўпалб илмий тадқиқотлар олиб борилмоқда. [9, 125-126-б; 30, 1605-1616-б.; 35, 59-71-б.; 36, 29-41-б.; 38, 183-190-б.; 41, 56-62-б.; 43, 13-16-б.; 48, 49-50-б.; 57, 38-43-б.; 60, 22-27-б.; 61, 145-151-б.; 62, 871-880-б.; 71, 128-б.; 72, 127-б; 73, 10-15-б.; 74, 16-19-б.; 77, 124-125- б.; 81, 10-110-б.; 82, 88-97-б,; 86, 3-9-б.; 88, 41-47-б.; 92, 1220-1225-б.; 97, 1-12-б.; 107, 1097-1103-б.; 108, 54-56-б.; 109, 371-381-б.; 110, 43-67-б.; 113, 1-8-б.; 118, 328-339-б.; 119, 70-74-б.; 127, 1-13-б.; 134, 1204-1205-б.; 136, 714-717-б.; 142, 1787-1797-б.; 143, 864-872-б., 144, 9-15-б.; 147, 1-8-б.; 189, 185-207-б.; 190, 32-42-б.].
9. Умумлаштириш ёки хулосалаш (Summarization). Тадқиқ қилинаётган маълумотлар мажмуасидаги маълум гуруҳ объектлар бўйича умумлашган тавсифлар олинади.
Тадқиқот ишида асосий эътибор маълумотларни интеллектуал таҳлили, хусусан, тимсолларни аниқлашнинг энг асосий муаммоларидан бири бўлагн синфлаштириш, кластеризаци ва объектларни тавсифловчи муҳим белгиларни танлаш масалаларига қаратилган.