8-tema: mashinada oqitiw turlari hám klassifikatsiyasi reje

9 -MAvZU: MASHINALI O'QITISHDA O'RGATUvCHI TANLAMA (DATASET)
Joba :
1) DataSet, DataTable, DataRow hám DataColumn haqqında túsinikler.
2) Maǵlıwmatlardı analiz qılıw DataSetlar.
3) Mashinada oqıtıwda Datasetlar.

1) DataSet, DataTable, DataRow hám DataColumn haqqında túsinikler

DataSet - maǵlıwmatlar dáreklerinen qaramastan, izbe-iz programmalastırıw modelin támiyinleytuǵın ápiwayı, turaqlı maǵlıwmatlar bazası. DataSet - bul tiyisli kesteler, sheklewler hám kesteler ortasındaǵı munasábetlerdi óz ishine alǵan tolıq maǵlıwmatlar kompleksi.
Ádetde maǵlıwmatlar kompleksi (DataSet) RelationsCollection ob'ekti tárepinen anıqlanǵan munasábetlerdi óz ishine aladı. DataRelation ob'ekti kartası bir keste degi qatarlar menen basqa maǵlıwmatlar kesteindegi qatarlar menen kórsetilgen munasábetler. Bul relyatsion maǵlıwmatlar bazasındaǵı sırtqı giltlerge uqsas isleydi.
DataRelation eki DataSets-dagi ústinlerdiń sáykesligin anıqlaydı. Baylanıslar DataSet ishinde bir kesteden basqasına ótiwge múmkinshilik beredi. DataRelation-dıń tiykarǵı elementleri tómendegiler bolıp tabıladı: munasábetlerdiń atı, eki kesteniń ózleri menen baylanısıwı, sonıń menen birge kestelerde baslanǵısh gilt hám sırt el giltleri ústinleri. Baylanıslar keste degi bir neshe ústinler, baslanǵısh hám sırt el giltleri ushın DataColumn úskeneleri qatarı tiykarında ornatılıwı múmkin. DataRelation jaratılǵanda, ADO. NET munasábetler ornatılıwı múmkinligin tekseredi. ADO. NET munasábetlerge unamsız tásir kórsetiwi múmkin bolǵan keyingi ózgerislerden qashıp, tek bir ret RelationsCollection-ga baylanıslardı qosadı. DataTable System. Data tárepinen belgilenedi hám kesteniń sxeması hám qatarların belgileytuǵın ColumnsCollection ob'ekti tárepinen usınıs etilgen ústinler kompleksin óz ishine alǵan yadta turaqlı jaylasqan maǵlıwmatlar kestein sáwlelendiredi. DataTable kestege maǵlıwmatlardı alıp keletuǵın RowsCollection ob'ekti tárepinen kórsetiw etilgen qatarlar kompleksin óz ishine aladı. Ámeldegi jaǵday menen bir qatarda DataTable ob'ekti túp jaǵdayın saqlap qaladı hám maǵlıwmatlar menen júz bergen barlıq ózgerislerdi gúzetip baradı. DataSet XML arqalı quramdı sáwlelendiriwshi maǵlıwmatlardı saqlawı hám qayta júklewi múmkin.
2) Maǵlıwmatlardı analiz qılıw DataSetlar
Maǵlıwmatlardı analiz qılıw hám mashinada úyreniw júdá kóp maǵlıwmatlardı talap etedi. Siz olardı ózińiz birlestira alasız, biraq bul zerikarli. Bul erda túrli taypa daǵı tayın maǵlıwmatlar jıynaqları biziń járdemimizga keledi hám Datasetlar járdeminde
•davlat maǵlıwmatlar jıynaqları
• Turaq-jay maǵlıwmatları
• Ekonomika hám finans
• Kompyuterdi kóriw qábileti
• Sezimlerdi analiz qılıw
• Tábiy tildi qayta islew
• Avtopilotlar
• Medicinalıq maǵlıwmatlar
Analiz etińiishi múmkin.
Dataset qifirish sistemaları :
Google Dataset Search. Dataset Search gilt sóz menen pútkil Internette maǵlıwmatlar jıynaqların qıdırıwǵa múmkinshilik beredi..
Kaggle. Kóplegen qızıqlı maǵlıwmatlar kompleksine iye bolǵan mashinasozlik jarısları platformasi. Maǵlıwmatlar kompleksi diziminde ramen reytinginen tartıp NCAA basketbol maǵlıwmatlarına hám Sietlning úy haywanları litsenziyasınıń maǵlıwmatlar bazasına shekem hár qıylı úlgiler bar. UCI Machine Learning Repository. Internet degi maǵlıwmatlar jıynaqlarınıń eń áyyemgi dáreklerinen biri hám qızıqlı maǵlıwmatlar kompleksin izlew ushın birinshi orın. Eger olar paydalanıwshılar tárepinen qosılsa hám sol sebepli hár túrlı dárejedegi " páklik" ga iye sonda da, kópshiligi tazalanadı. Maǵlıwmatlardı dizimnen topırdan tezlik penen júklep alıw múmkin.
VisualData. Datasetlar kompyuterdi kóriw ushın, taypalarǵa ajıratılǵan. Qıdırıw bar.
Find Datasets| CMU Libraries. Karnegi Mellon universiteti tárepinen usınıs etilgen Datasetlar kompleksi.
Mámleket Datasetlari:
Data.gov. Bul erda siz túrli mámleket keńseleri maǵlıwmatların tabıwıńız múmkin. Bular mámleket byudjetinen tartıp barlıq juparalar maǵlıwmatların yiginfisy bar.
Turar jay maǵlıwmatları
Boston Housing Dataset. Shet favlati Qospa Shtatlardıń xalıqtı dizimge alıw byurosi tárepinen dúzilgen Bostondagi turaq-jay haqqında maǵlıwmat bar. Ol StatLib arxivınan alınǵan hám algoritmlardı bahalawda ádebiyatda keń qollanılǵan.
Ekonomika hám finansda:
Quandl. Ekonomikalıq hám finanslıq maǵlıwmatlardıń jaqsı dáregi - Ekonomikalıq kórsetkishlerdi yamasa aktsiyalar bahaların boljaw modellerin dúziwde paydalı bolıp tabıladı. • World Bank Open Data.. Demografik maǵlıwmatlardı, dúnya boylap kóplegen ekonomikalıq hám rawajlanıw kórsetkishlerin óz ishine alǵan maǵlıwmatlar jıynaqları.
• IMF Data. Xalıq aralıq valyuta fondı xalıq aralıq finans, qarız kórsetkishleri, valyuta rezervleri, investitsiyalar hám tovarlardıń bahaları tuwrısındaǵı maǵlıwmatlardı baspa etedi.
• Financial Times Market Data. Qımbatlı qaǵazlar, tavar hám valyutalar bahaları indekslerin óz ishine alǵan dúnyadaǵı finans bazarları tuwrısında aktual maǵlıwmatlar.
• Google Trends. Internet-qıdırıw iskerligi hám dúnya boylap tendentsiyalar haqqındaǵı maǵlıwmatlardı úyreniń hám analiz etiń.
3) Mashinada oqıtıwda Datasetlar.
• Xview. Er júzindegi eń keń tarqalǵan hawa suwretlerinen biri. Ol jaǵdayda dúnyanıń túrli múyeshlerindegi suwretler, shegaralanǵan qutilar menen anıqlama berngen.
• Labelme. Anıqlama berngen súwretlerdiń úlken maǵlıwmatlar kompleksi.
• ImageNet. WordNet ierarxiyasiga muwapıq islengen jańa algoritmlar ushın súwretler kompleksi, ol jaǵdayda júzlegen hám mińlaǵan suwretler ierarxiyadagi hár bir túyindi sáwlelendiredi.
• LSUN. Maǵlıwmatlardıń bólekan belgileniwi menen saqnalar hám taypalarǵa bólingen súwretlerdiń maǵlıwmatlar kompleksi.
• MS COCO. Ob'ektti anıqlaw hám segmentatsiyalash ushın úlken kólem degi maǵlıwmatlar kompleksi.
• COIL100. Dumaloq háreket menen hár bir múyesh astında suwretlengen 100 qıylı zatlar. • vizual Genom. ~ 100 mıń tolıq túsindirmeli suwretke iye maǵlıwmatlar kompleksi.
• Google's Open Images. Creative Commons-de litsenziyalanǵan " 6000 taypanı óz ishine alǵan" etiketlangan súwretlerge 9 million URL kompleksi.
• Labelled Faces ın the Wild. Yuzni anıqlaw texnologiyasınan paydalanatuǵın programmalarda paydalanıw ushın 13000 belgilengen júzler suwretleri kompleksi.
• Stanford Dogs Dataset.. 120 ta ıyt zotidan 20 580 dane súwret bar.
• Indoor Scene Recognition. Ímaratlardı ishki lgkshtshirshtsh teńib alıw ushın maǵlıwmatlar kompleksi. 15620 ta súwret hám 67 taypanı óz ishine aladı.