Referat jumısı Orınlaǵan: Tilewova Ayzada Qabıllaǵan: Ótemisov Aziz Nókis-2020 Til bilimi hám kibernetika Jobası

ÓZBEKSTAN RESPUBLIKASI JOQARÍ HÁM ORTA ARNAWLÍ BILIMLENDIRIW MINISTRLIGI

BERDAQ ATINDAǴI QARAQALPAQ MÁMLEKETLIK UNIVERSITETI

Qaraqalpaq filologiyası hám jurnalistika fakulteti

Qaraqalpaq til bilimi kafedrası

Tillerdi oqıtıw (qaraqalpaq tili) tálim baǵdarı

2a-kurs studenti Tilewova Ayzadanıń

Til bilimi hám tábiyǵiy ilimler páninen

REFERAT

jumısı

Orınlaǵan: Tilewova Ayzada

Qabıllaǵan: Ótemisov Aziz

Nókis-2020

Til bilimi hám kibernetika

Jobası:

1. Kibernetika ilimi haqqında túsinik

2. Til bilimi hám kibernetika

3. Avtomatikalıq awdarma

4. Kompyuter til biliminde tekstti avtomatikalıq redakciyalaw ushın jaratılǵan dástúrler

5.Tálim procesinde tillerdi oqıtıwda kompyuter texnologiyalarınıń engiziliwi

Kibernetika grekshe “basqarıw óneri” degendi ańlatadı. Kibernetika-axbarottı qabıl qılıw, saqlaw, onı qayta islew hám onnan túrli processlerdi basqarıwda paydalanıw menen shuǵıllanatuǵın pán. Avtomatikalıq basqarıw, esaplaw texnikası, neyrofiziologiya hám matematikalıq logikanıń teoriya hám ámeliyatlarınıń rawajlanıw nátiyjeleri sıpatında dúnyaǵa kelgen. Kibernetikanıń texnikalıq tiykarın elektron esaplaw mashinaları (EEM) quraydı. Olar insan sanasına tiyisli máselelerdi sheshiwge keń imkaniyatlar ashıp beredi. Kibernetika terminin birinshe márte grek filosofı Platon tilge alǵan. XVII ásirde-aq B.Paskal (Franciya) ápiwayı mexanik arifmometrdi oylap tapqan edi. Tek XIX ásirge kelip Ch.Bebbij (Angliya) házirgi zaman elektron esaplaw mashinalarına uqsas cifrli avtomatikalıq esaplaw mashinasın jaratıwǵa urınıp kórdi. XX ásir basında elektromexanikalıq analitikalıq esaplaw mashinası jaratıldı. 1938-jılda K.Shennon (AQSH), 1941-jılda V.I.Shestakov (Rossiya) logikalıq matematikalıq apparattıń rele kontrakt sxemasınan sintez hám analiz ushın paydalanıw múmkinligin kórsetedi. Usılar tiykarında avtomatikalıq logika rawajlana basladı. XX ásirdiń 40-jıllarında J.Fon Neyman (Germaniya) hám basqalar tárepinen jaratılǵan EEM kibernetikanıń rawajlanıwında sheshiwshi áhmiyetke iye boldı. Bulardıń hámmesin ulıwmalastırıp, N.Viner (AQSh) óziniń “Kibernetika” kitabın jazadı. (1947) Ol kibernetikanı “tiri maqluqat hám mashinadaǵı baylanıslar hám de basqarıw haqqındaǵı pán” dep atawdı usınıs etedi. Zamanagóy kibernetika bir neshe bólimlerden ibarat. Kibernetikanıń teoriyalıq tiykarı:informaciya( axborot), kodlaw, algoritmlew, avtomatlar, formal tiller teoriyası. Bul basqıshlar nátiyjesinde kibernetika keń kólemde qollanıla baslap, ekonomikalıq kibernetika, biologiyalıq kibernetika, meditcina kibernetikası, texnik kibernetika, matematikalıq lingvistika hám basqa ilimiy baǵdarlar júzege keldi.

Til bilimi kibernetika ilimi menen de baylanıslı. Ol XX ásir ortalarında mashina hám tiri organizmlerdegi qatnas, basqarıw hám qadaǵalawdı úyreniwshi ilim tarmaǵı sıpatında maydanǵa keldi. Kibernetika haqqındaǵı dáslepki ideya amerikalı alım N.Viner tárepinen berilgen bolsa, keyin ala rus matematikleri A.A.Markov, A.M.Lyapunov, A.N.Kolmogorov, A.Ya.Xinchin, amerikalı alımlar K.Shennon, Fisher bul ideyanı rawajlandırdı.

Rossiyada kompyuter lingvistikası boyınsha keń kólemde jumıslar ámelge asırılǵan. Bul tarawda ásirese Moskva, Sankt-Peterburg alımları úlken jumıs alıp barmaqta. Rus KL sında A.V.Anisimov, I.A.Baratchikov, E.I.Korolev, R.G.Kotov, Yu.N.Marchuk, L.L.Nelyubin, R.G.Piatrovskiy sıyaqlı alımlardıń izertlewleri áhmiyetli. Bul alımlar tiykarınan mashina awdarması menen shuǵıllanǵan. Sonıń menen birge rus alımları avtomat tárizde tilge oqıtıw máseleleri boyınsha da bir qansha islerdi ámelge asırǵan. Bul isler arasında R.G.Piatrovskiy, I.S.Panova-Yabloshkina, G.I.Kolos, L.V.Smirnova, G.A.Grinok sıyaqlı alımlardıń izertlewleri itibarǵa ılayıq. Sonıń menen birge, rus til biliminde tekstlerdi avtomat redaktorlaw baǵdarı boyınsha da bir qansha jumıslar alıp barılmaqta. I.A.Melchuk, L.I.Belyayeva, V.A.Chijakovskiy, I.S.Duganova, A.B.Kuznecov sıyaqlı alımlardıń isleri úlken áhmiyetke iye. Bul alımlardıń izleniwleri mashina awdarması boyınsha ámelge asırılǵan islerdiń nátiyjelerine tiykarlanadı.

Mashinalıq awdarıw teoriyası tómendegi eki basqıshtaǵı jumıslardı óz ishine aladı:

A)bir tilden ekinshi tilge tekstti awdarıw máselelerin anıqlaw

B)awdarılǵan tekstti avtomatikalıq redaktorlaw principlerin úyreniw

Ózbek til biliminde KL boyınsha belgili isler ámelge asırılǵan. Mısalı, ózbek til biliminde tekstti statistikalıq analiz qılıw menen dáslep I.A.Kissen shuǵıllanǵan. Ol 1972-jılda baspadan shıǵarılǵan jiyilik sózliginde ózbek kórkem proza tekstlerinde eń aktiv sózler muǵdarı 1227 ekenligin anıqlaǵan. S.Rzaev bolsa, “Házirgi ózbek ádebiy tilinde hárip hám fonemalardıń qollanıw jiyiligi” (1967), “Til biliminde matematikalıq metodlardıń qollanılıwı” (1973), “Buwın strukturasın úyreniw tájiriybesinen” (1975), “Kibernetika hám til bilimi” (1976) atlı shıǵarmalarında til biliminde matematikalıq lingvistika hám mashinalıq awdarıw teoriyasınıń payda bolıw sebeplerin, olardıń bar bolıwın támiyinlewshi dáslepki EEM lardıń jaratılıw tariyxı, programma dúziwde jasalma tillerden paydalanıw imkaniyatları haqqında qızıqlı maǵlıwmatlar beredi.

Kibernetika iliminiń qáliplesiwi hám rawajlanıwında tek matematikler ǵana emes, al fiziologlar, fizikler, tilshi alımlar, psixologlar, logikler de belsendi qatnastı.

Solay etip, kibernetika sintetik ilim esaplanadı hám ol matematika, fizika, logika, fiziologiya, psixologiya, til bilimi maǵlıwmatların sintezlestiredi.

Kibernetika ilimi tiri organizm menen mashinalar ortasında qatnas, basqarıw hám qadaǵalaw procesinde qanday da bir ulıwma belgiler bar ekenligine tiykarlanadı. Bul, ásirese, insan nerv sistemasına, onıń pikirlew hám refleks iskerligine tiykarlanǵan házirgi elektron mashinalarda ayqın kózge taslanadı.

Házirgi texnika rawajlanıw basqıshında insannıń awır miynetin ańsatlastırıw maqsetinde insan orınlawı lazım bolǵan bir qatar wazıypalar mashinalarǵa júkletilmekte. Bul processte insanǵa tán intellektual iskerlik mashinalarǵa kóshiriledi. Nátiyjede mashinalar insannıń tek fizikalıq miynetin ǵana emes, al aqılıy miynetin de jeńillestiredi. Máselen, jıllar dawamında sanaw múmkin bolǵan nárselerdi mashina járdeminde bir neshe minutta orınlaw múmkin. Bunday mashinalar elektron esaplaw mashinaları (EEM).

EEM búgingi kúnde turımısımızdıń túrli tarawlarına kirip bardı. Onıń járdeminde hár túrli tekstlerdi qısqa múddette teriw, hár qanday informaciyanı uzatıw, qabıl etiw hám saqlaw, hátte muzıka dóretiw, shaxmat oynaw imkaniyatı bar.

Bunday mashinalardıń oylap tabılıwında mashina xızmeti menen tiri organizm xızmeti ortasındaǵı uqsaslıq tayanısh noqat bolıp xızmet etedi. Tiri organizmde de, mashinada da sırttan alınǵan signallarǵa juwap beretuǵın basqarıwshı hám basqarılıwshı quramlıq bólimler bar.

Signallar insan xızmeti hám mashinalar jumısın belgilewshi belgili informaciyalardı tasıydı. Informaciya hám signal túsinikleri kibernetikanıń oraylıq túsinikleri bolıp tabıladı.

Informaciya hár qıylı bolǵanınday, signallar da hár túrli. Ol kóriw, esitiw, jaqtılıq sıyaqlı signallarınan ibarat bolıwı múmkin. Máselen, joldaǵı svetofor nurı da signal, mashinanıń burılıw shıraǵın jaǵıw da signal, urıs maydanında aq bayraqtıń kóteriliwi de, áskerlerdiń quralın taslap qol kóteriwi de signal. Elektr impulsları, telegraf lentasındaǵı tire, noqatlar da signal.

Olardıń hámmesi belgili informaciya tasıydı. Bul jaǵınan sózler de signal. Ol da bolmıstaǵı zat hám qubılıslar haqqında informaciya beredi. Sonıń ushın ataqlı rus alımı I.Pavlov sózdi signallar signalı degen edi.

Belgili informaciya tasıwda qollanılatuǵın signallar sisteması kod esaplanadı. Kodlar EEM ushın úlken áhmiyetke iye. Ol da tiri organizm signallarına analogiya jolı menen jaratıladı.

Tiri organizm xızmeti hám mashina jumısı ortasındaǵı uqsaslıqtı tómendegishe túsindiriw múmkin.

Insan seziw aǵzaları arqalı sırtqı álem haqqında túrli informaciya beriwshi signallardı qabıl etedi. «Kiriw signalı» ataması menen júritiliwshi bunday signallar nerv tarmaqları arqalı miyge uzatıladı. Qabıl etilgen informaciya yadta saqlanadı, qayta islenedi hám onıń xızmeti belgilenedi: háreket arqalı anıq reakciya shaqırıladı yamasa hár qıylı jańa informaciya qayta islenedi. «Kiriw signalları» «shıǵıw signalları»na aylandırıladı.

Máselen, «Ótken kúnler» romanın kim jazǵan?» degen sorawdı til járdeminde kodlastırılǵan hám ses signalları – sózler arqalı uzatılǵan informaciya sıpatında qaraw múmkin. Esitiw aǵzaları bul signallardı qabıl etip, miyge uzatadı. Bul informaciya miydegi yad uyalarına qabıl etiledi hám qayta qáliplesedi.

Miy bólegi menen tap sonday til járdeminde oraylıq baylanıs kanalları arqalı kodlastırılǵan jańa informaciya uzatıladı: juwabı – Abdulla Qodiriy. Abdulla Qodiriy sóylewshi ushın «shıǵıwshı signal», bir waqıttıń ózinde, tıńlawshı ushın bolsa «kiriwshi signal» esaplanadı. Solay etip, jańa informaciya qabıl etiwde «kiriwshi signal» menen «shıǵıwshı signal» shınjırı tákirarlanıp turadı. Mashina da dál usı princip tiykarına qurılǵan. Onıń wazıypası informaciyanı qabıl etiw, saqlaw, qayta qáliplestiriw hám uzatıwdan ibarat.

Házirgi kúnde mashinalar járdeminde insan miynetin jeńilletiwshi hár qıylı isler ámelge asırılmaqta. Áne usılardan biri avtomatikalıq awdarma bolıp tabıladı.

2.Avtomatikalıq awdarma

Házirgi dáwirde tekstti avtomat islew hám mashina járdeminde awdarmalaw kún sayın rawajlanıp barmaqta. Bul bolsa til biliminiń kibernetika menen bekkem baylanısı sebepli ámelga aspaqta.

Avtomatikalıq awdarma (mashina awdarması) anıq bir tildegi tekstti EEM (elektron esaplaw mashinası) arqalı basqa tildegi mazmunı birdey bolǵan tekstke aylandırıw jolı menen ámelge asırıladı.

Avtomatikalıq awdarmanı ámelga asırıw ushın EEMna programma (algoritm), awdarmalanıp atırǵan hár eki tildiń hár qıylı informaciyalardı bildiriwshi sózligi kiritiledi. Programma mashina yadına sonday kiritiledi, onıń hár bir yad uyasında sózdiń barlıq máni hám formaları hám de hár túrli awdarma usılları orın aladı. Awdarma qaǵıydası qısqa formulalar túrinde júdá anıq hám qısqa dúziliwi lazım.

Programma kiritilgennen keyin mashina awdarma ushın tekst qabıl etiwge tayar halǵa keledi. Mashina tek sanlar arqalı jumıs alıp barǵanı sebepli tekst sanlarǵa kodlastırıladı. Hár bir hárip belgili bir san arqalı ańlatıladı. Hár eki tilde birdey fonemanı ańlatıwshı háripler birdey san menen ańlatıladı. Máselen, inglis hám ózbek tillerinde a=16; ingl. v, ózb. b=06; ingl. m, ózb. m=11; ingl. n, ózb. n=15 hám t.b. Solay etip, inglisshe method sóziniń háripleri 11 08 26 28 30 sanlarına teń. Demek, bul sanlardıń izbe-izligi joqarıdaǵı sóz háripleriniń izbe-izligin ańlatadı. Sanlar izbe-izliginiń buzılıwı basqa sózdiń ańlatılıwına alıp keledi.

Sanlar, óz gezeginde, elektr impulslar arqalı sonday kodlastırıladı, hár bir hárip bes impuls kombinaciyası arqalı beriledi. Shıǵıw aqırındaǵı hárip basıwshı qurılma (teletayp) sanlı kodtı sózlerge aylandıradı.

Mashina berilgen tekstti alǵannan keyin awdarmaǵa kirisedi. Awdarma ushın mashina tekstti, eń áweli, analizden baslaydı, soń sintezlestiredi: tekst quramındaǵı sóz qaysı mánide qollanılıp atır? Onı qanday sóz benen awdarmalaw múmkin? Sóz qaysı grammatikalıq formada turıptı hám ol awdarmalanıp atırǵan tildiń qaysı sóz formasına sáykes keledi?

Bul sorawlarǵa juwap izlep, sáykes sóz formasın tapqannan soń, mashina sózdi basqa tildiń ámel qılatuǵın sóz tártibi nızamlıǵı tiykarında jaylastıradı. Mashinanıń hár bir háreketi «awa» – «yaq» juwaplarınan birin tańlaw jolı menen ámelge asadı.

Máselen, inglisshe many sózi analizi programmasın kórip shıǵayıq. Bul sóz kóp mánili. Onıń qaysı mánide qollanılıp atırǵanın basqa sózler menen dizbeklesiwi arqalı anıqlaw múmkin. Mashina háreket programması (algoritmi) tómendegishe boladı:

Tekseriw: many sózinen aldın how sózi turmay ma?

Eger «Awa» bolsa, how many dizbegi «qansha» sózi arqalı awdarmalanadı.

Eger «Yaq» bolsa, bul sózdiń aldında as sózi kelmey me?

Eger «Awa» bolsa, as many «sonsha» dep awdarmalanadı.

Alınǵan nátiyje redaktorlawǵa mútáj. Ayırım waqıtlarda mashina sóz formaların, sózdiń fonetikalıq variantın, gápte sózler tártibin nadurıs tańlap qoyıwı múmkin.

Mashina ayırım orınlarda sózdiń optimal variantı menen qawıs ishinde imkaniyat dárejesindegi varianttı da keltiriwi múmkin. Sonıń menen birge, mashina yadında kerekli sóz bolmasa, bul sózdi awdarmastan original tildegi formada bere beredi.

Kórinip turǵanınday, avtomatikalıq awdarma kibernetika menen til biliminiń óz ara bekkem baylanısı sebepli ámelge asadı. Bul processte programma dúziwshi álbette awdarmaǵa berilip atırǵan hám awdarmalanıp atırǵan tillerdiń ózine tán fonetikalıq, grammatikalıq qásiyetlerin, leksikalıq imkaniyatların, leksemalardıń semantikalıq dúzilislerin jaqsı iyelegen bolıwı kerek.

Avtomatikalıq awdarma birinshi márte 1954-jılı AQShtıń Nyu-York qalasında IVM-701 túrindegi awdarıw qurılması jaratıldı hám bul qurılma arqalı 250 sózden ibarat 60 qa jaqın russha gáplerdi ingliz tiline awdarıw procesi ámelge asırıldı. Bul is boyınsha P.Garven, L.Dostert, P.Sheridanlar belsene qatnastı. Onda ayırım frazalar rus tilinen inglis tiline awdarmalandı. Sonnan keyin bul mashqala menen Franciya, Kanada, Rossiya sıyaqlı bir neshe mámleketler shuǵıllana basladı. Avtomatikalıq awdarmanıń bar qatar sistemaları júzege keldi: SISTRAN (AQSh, Kanada, Evropa), LOGOS (AQSh), KULT (Gonkong) hám t.b.

1955-jılǵa kelip Burınǵı Keńes Awqamında BESM túrindegi avtomatikalıq awdarıw qurılması járdeminde inglizshe gáplerdi rus tiline awdarıw procesi ámelge asırıldı. (I.K.Belskaya, L.N.Korolev, S.N.Razumovskiy sıyaqlılar) Dáslepki márte I.K.Belskaya hám D.Yu.Panov tárepinen 1955-jılı Anıq mexanikalıq hám esaplaw texnikası institutında sınap kórildi. I.K.Belskaya algoritmniń lingvistikalıq tiykarların, D.Yu.Panov ámelge asırıw programmasın islep shıqtı. Sonday-aq, Belskayalar menen parallel ráwishte burınǵı Keńes awqamı Ilimler Akademiyası V.A.Steklov atındaǵı Matematika institutınıń ámeliy matematika bóliminıń alımları Olga Kulaginanıń basshılıǵında Aleksey Lyapunov penen birgelikte usı másele menen shuǵıllandı. Usınnan keyin dúnyanıń Angliya, Franciya, Avstriya sıyaqlı mámleketlerinde alımlar mashinalıq awdarıw mashqalaları menen arnawlı túrde shuǵıllanıp basladı.

Nátiyjede tilshi alımlar belgili bir tipologiyalıq tárepten táriyplew, onıń materialların analiz hám sintez qılıw, mashina tiline ótkeriw menen shuǵıllanıp, jaqsı nátiyjelerge eristi.

Bunday mashqalalardı lingvistikalıq izertlewlerdi avtomatlastırıw arqalı sheshiw múmkin. Bul máselege tiyislı til biliminiń arnawlı ilimiy konferenciyaları ótkerilgen. Mısalı, 1962-jılı Kembridj qalasında dúnya til biliminiń IX kongresi ótkerildi. Bul konferenciyada strukturalıq til bilimi hám matematikalıq lingvistika mashqalaların úyreniwge óz aldına orın ajıratılǵan edi.

1967-jılı Buxarest qalasında dúnya til biliminiń X kongresi ótkerilip, bunda hám matematikalıq lingvistika hám matematikalıq awdarma mashqalaları arnawlı túrde úyrenilip shıǵıldı. 1960-jılı Parij qalasında xalıq aralıq kongress ótkerilip, onda arnawlı algoritmlik til-Algol engizildi. Bul algoritmlik til házirge shekem elektron esaplaw mashinalarında tekstlerdi kirgiziw, olardı dástúrlew ushın xızmet etpekte.

Til biliminde elektron esaplaw mashinalarınıń qollanılıwı avtomat awdarıw mashqalaları menen shuǵıllanıw, mashina járdeminde tekst dúziw, onı qısqartıw, sintezlew procesin ámelge asırıw ushın keń imkaniyatlar jaratıp berdi. Nátiyjede til materialların formallastırıw, chastotalı (jiyilik) sózlikler dúziw, túrli qısqartpalar hám simvollardan paydalanıw menen shuǵıllanbaqta.

Házirge shekem mashina yadına kiritilgen sózlerdiń kólemi 1000 nan aspaydı. Bul imkaniyat penen tek ilimiy-texnikalıq hám shártli túrde rásmiy tekstlerdi awdarıw múmkin.

Kóp mánililikke, obrazlılıqqa tiykarlanǵan kórkem tekstlerdi awdarmalaw avtomatikalıq awdarma aldında turǵan eń aktual mashqalalardan bolıp tabıladı.

Ayırım qánigeler kórkem shıǵarmanı mashina jolı menen awdarmalaw múmkinligine gúman menen qaraydı. Sebebi kórkem shıǵarma tilinde on mıńlap sózler paydalanıladı. Sonıń menen birge, bul sózler bir neshe awıspalı mánilerde qollanılǵan, kórkemlik, ekspressiv-emocionallıq mánilerge bay boladı.

Mashina menen awdarmada tekst mazmunınan tısqarı, shıǵarma avtorınıń ózine tán individual uslubı, kórkem-estetikalıq quwatı, qullası, shıǵarmanıń barlıq kórkem qásiyetlerin támiyinlep turıwshı kórkem-súwretlew quralların, hár qıylı leksika-grammatikalıq qurallar járdeminde dóretilgen shıǵarmanıń pútin gózzallıǵın beriw kerek. Bulardı formallastırıw, algoritmge salıw júdá qıyın keshedi. Sonıń ushın bunı ámelge asırıw ámelde múmkin emes dep oylaydı.

Elektron esaplaw mashinaları arqalı sózlikler de dúzile basladı. Eń birinshi márte túrkiy tiller ishinde qazaq tiliniń tekstleri boyınsha hár qıylı túrdegi sózlikler dúzildi. Qazaqstan Ilimler Akademiyasınıń til bilimi institutı janınan lingvostatistikalıq avtomatlastırıw toparı dúzildi. Bul topar tiykarınan 4 ilimiy xızmetkerden ibarat boldı. Onı filologiya ilimleriniń doktorı hám fizika-matematika ilimleriniń kandidatı Qaldıbay Bektaev basqarıp bardı. Bul topar 10 jıl ishinde M.Áwezovtıń “Abay jolı” romanınıń 4 tomı boyınsha ulıwma kólemi million sóz qollanılıwı átirapında úsh túrdegi sózlikti dúzip shıqtı.

1.Alfavitli jiyilik sózlik

2.Keri alfavitli jiyilik sózlik

3.Jiyilik sózlik

Bunnan basqa qazaq gazetalarınıń tekstleri boyınsha ulıwma kólemi 150 mıń sóz átirapında joqarıdaǵı atı atalǵan úsh sózlik A.Aqabaev tárepinen dúzilip shıǵıldı. Bunnan keyin A.Muxammedovtıń avtorlıǵında ózbek gazeta tekstleri boyınsha ulıwma kólemi 200 mıń sóz átirapındaǵı jiyilik sózlikler dúzildi. Bunnan basqa bunday túrdegi jiyilik sózlikler túrk tili (A.Babanazarov), qırǵız tekstleri boyınsha (M.Jetekishov) islep shıǵıldı.

Al, qaraqalpaq tili boyınsha bolsa, 1979-1989-jıllar aralıqlarında “Sovet Qaraqalpaqstanı” gazetası, “Ámiwdárya” jurnalı, Berdaq, Ájiniyaz shıǵarmaları, T.Qayıpbergenovtıń “Maman biy” ápsanası, “Alpamıs”, “Sháryar”, “Qırq qız” dástanları hám I.Yusupovtıń “Tańlamalı shıǵarmaları” tekstleriniń alfavitli, keri alfavitli jiyilik sózlikleri dúzildi. Olardıń ulıwma kólemi yarım million sózden ibarat. Tashkent qalasında ótkerilgen úshinshi xalıq aralıq tyurkologlar konferenciyasında bul jóninde maǵlıwmatlar berildi. Sol dáwirdegi watandarlıq elektron esaplaw mashinalarınan paydalanǵanlıǵı sebepli gumanitar ilimlerdiń bul mashinalardan paydalanıw imkaniyatları sheklengen edi. Bunıń tiykarǵı sebebi, elektron esaplaw mashinaları tek jámáát toparlarınıń paydalanıwshılarına ǵana mólsherlengen edi. Bunnan basqa filologlarǵa bul mashinalardan paydalanıw waqtı júdá az beriletuǵın edi.

Lingvistikalıq avtomatlardıń dúzilisi hám islew principleri tómendegilerden ibarat:

1.Lingvistikalıq avtomatlardıń kompyuter principinde islewi. Bul orında lingvistikalıq avtomatlar adamnıń járdemshisi ekenligin umıtpawımız kerek. Ol úlken kólemdegi tekstlerdi qayta islew sıyaqlı mashaqatlı jumıslardı ámelge asıra aladı. Adam lingvistikalıq avtomatlardıń islep atırǵan jumıslarına tolıq aralasa alıw múmkinshiliklerine iye. Bunday aralasıwlar lingvistikalıq avtomatlardıń hámme basqıshlarında da ámelge asırılıwı múmkin. Adam lingvistikalıq avtomatlardaǵı ayrım atqarılıwı kemis bolǵan funkciyalardı toltırıw múmkinshiligine iye boladı. Bul orında adam lingvistikalıq avtomatlardaǵı orın alǵan qarama-qarsılıqlardı jeńiw múmkinshiliklerin tuwdıradı. Insannıń bunday intellektleri arqalı lingvistikalıq avtomatlar mudamı jetilistirilip barıladı. Bunıń ushın lingvistikalıq avtomatlarǵa adamnıń pikirlew dógereginde quramalı semantikalıq funkciyaları berilip turılıwı tiyis.

2.Lingvistikalıq avtomatlardıń modullik arxitektura principi. Bul principte lingvistikalıq avtomatlardıń qálegen variant moduller blogınıń kombinaciyası sıpatında qabıl etiledi. Olar belgili bir dárejede adamnıń oylap sóylew xızmetleri menen sáykes keliwi tiyis.

3.Lingvistikalıq avtomatlardıń ashıq dúzilisi hám olardıń modulleri. Bul principtiń tiykarǵı mańızı sinxroniya hám diaxroniya arasındaǵı paradokslardı azaytıwdan ibarat. Bunnan basqa til hám idiolet arasındaǵı qarama-qarsılıqlardı azaytıw máseleleri esapqa alınadı. Bul orında lingvistikalıq avtomatlar ashıq evolyuciyalanıwshı sistema túrinde qurılıwı názerde tutadı. Qurılıp atırǵan sistema tiykarınan alǵanda oǵan taza modullerdi kiritiw yamasa gónergen modullerin aytarlıqtay qaytadan quramay rawajlanıp barıwı lazım. Modullerdiń sheksiz keńeyiwi hám góne maǵlıwmatlar menen almasa alıwshılıq qásiyetine iye bolıwı kerek. Lingvistikalıq avtomatlardıń hám olardıń modulleriniń ashıqlıǵı, lingvistikalıq avtomatlardıń adam pragmatikası ushın belgili bir dárejede beyimlesiw imkaniyatların jaratadı.

4.Ayırım modullerdiń óz betinshe islew principleri.

Lingvistikalıq avtomatlardıń hár bir moduli avtonom túrde tekstlerdi analizley alatuǵın hám sintezley alatuǵın múmkinshiliklerge iye bolatuǵınday dárejede dúziliwi kerek.

5.Detereminstlik hám itimallıq metodikalardı birgelikte alıp barıw principleri. Bul metodta, tiykarınan alǵanda tekstlerdiń avtomatikalıq analizinde hám sintezinde, tekstlerdiń payda bolıwın maqsetli rejelestiriw hám jaǵdaylardıń birgeliktegi kombinaciyaları tiykarında dúziledi. Determinirlengen valentlilikler tekstlerdiń tek ǵana eki-úsh adımnan turatuǵın qısqa uchastkalarında ǵana háreket jasaydı. Sol sebepli tildiń hám sóylewdiń determinirlengen modellestiriwli itimallı hám ayqın emes kóplikler metodikaları menen birgelikte alıp barılıwları tiyis. Bul metodikalardıń birigiwleri arqalı tábiyǵiy tillerdiń ayqın emesligi menen lingvistikalıq avtomatlardıń ayqınlılıǵı arasındaǵı qarama-qarsılıqlardı bir qansha jumsartıw múmkinshiliklerin tuwdıradı.

Kóp basqıshlı lingvistikalıq avtomatlardı dúziw ushın birinshe gezekte eki máseleni sheshiwimiz zárúr.

Birinshisi, bul lingvistikalıq avtomatlardıń dúzilisi qaysı baǵdarda barıw kerek. Bul orında lingvistikalıq avtomatlardıń tómennen joqarı qaray ma, yamasa joqarıdan tómenge dúziliwi kerek pe. Bul orında joqarı qaray dúziletuǵın lingvistikalıq avtomatlar elementar leksikalıq-morfologiyalıq modulden, quramalı sintaksislik-semantikalıq modullerge ótiw ózgeshelikleri qaraladı. Joqarıdan tómen qaray dúziletuǵın lingvistikalıq avtomatlar bolsa, buǵan kerisinshe qaray dúziledi.

Solay etip, bul sorawlarǵa juwap beriw ushın házirgi zaman programmalastırıw tájiriybelerine súyenemiz. Bul tájiriybelerde dástúriy joybarlawlardaǵı maǵlıwmatlardı qayta islewdiń avtomatikalıq sistemasında joqarıdan tómenge qaray dúziledi. Al, algoritmlerdiń programmalastırılıwı bolsa tómennen joqarı qaray dúziledi. Atap aytqanda, avtomatikalıq sózlikler sıyaqlı ápiwayı modulden baslap, tekstlerdiń semantikalıq sintaksislik analizi sıyaqlı quramalı bloklarǵa qaray baǵdarlanadı.

Joqarı qaray baǵdarlanǵan programmalastırıwlarda tómengi buwındaǵı programmada qabıl etilgen sheshimlerdiń durıs qabıl etilgenligi haqqındaǵı isenimler boyınsha dúzilip barıladı. Bul arqalı tómendegi programmalarda bir qatar sáykes emesliklerdi hám eske almaǵan jaǵdaylardı dúzetip barıw múmkin.

Sistema tolıq iske qosılǵanǵa deyin moduller qayta-qayta tekseriledi hám dúzetilip barıladı. Bunday profilaktikalıq jumıslar sistema tolıq tayar bolǵanǵa shekem dawam etip barıladı.

Joqarı qaray baǵdarlanǵan programmalardıń islew principleri de kemshiliklerden qashıq emes. Olardıń ishindegi birinshi kemshilik sıpatında joqarı qaray baǵdarlanǵan programmalar iske qosılǵan waqıtlarda modellerdiń dara-dara bolıp islew ózgeshelikleri menen ajıralıp turadı. Yaǵnıy, bul orınlarda modullerdiń birgelesip kompleksli túrde iske qosılǵanda nadurıs sheshimlerdiń payda etetuǵınlıǵın, al ayırım jaǵdaylarda bolsa ulıwma iske qosılmaytuǵınlıǵın bayqaw múmkin. Bunıń tiykarǵı sebebi ayırım programmalardıń erterektegi berilgen máseleler boyınsha dúzilgenligi, al waqıttıń ótiwi menen bolsa basqa modullerge degen talaplardıń ózgeriwi yamasa bul modullerge ayırım programmistlerdiń nadurıs túsinikke jaqınlasıwı menen baylanıslı boladı. Ekinshi kemshiligi programmalardıń islew dáwirindegi juwmaqlawshı fazasındaǵı júzege kelgen kemshilikler menen baylanıslı boladı. Bul óz gezeginde ayırım modullerdi qayta joybarlaw yamasa dúzetiwlerdi talap etetuǵın, al ayırım jaǵdaylarda bolsa, pútkil bir sistemanı ózgertiw zárúrliklerdi júzege keltiredi.

Joqarıdan tómen qaray isleytuǵın programmalar menen joybarlawlar sistemasınıń islew qábiletliligi tómengi buwınlarǵa ótkennen keyin tekseriledi. Bul óz ornında aldın ala aytılǵan joqarı qaray baǵdarlanǵan sistemalarda orın alǵan qıyınshılıqlardan qutılıw imkaniyatlarına iye boladı. Negizinde moduller joqarıdan tómenge qaray isleytuǵınday etip jaratıladı. Eger de tómengi buwınlarda programmalar paydalanbay turǵan waqıtlarda zaglujka paydalanıladı. Biraq waqıttıń ótiwi menen jańa máselelerdiń júzege keliwi yamasa sistemanıń rawajlanıwı menen zaglujkalar talapqa juwap beriwshi programmalar hám moduller menen almastırılıp barıladı. Tómenge qaray isleytuǵın programmalardıń artıqmashılıǵı tiykarınan alǵanda olardıń dara-dara joybarlanıwı hám paydalanılıwı menen ajıralıp turadı. Bul programmalardıń tekseriliwi hám hújjetlestiriliwi parallel túrde alıp barılıwı menen bahalanadı.

Degen menen, tómen qarap islewshi principler tekstlerdi avtomatikalıq analizlewde hám sintezlewdegi joqarı dárejeli konstruktiv qásiyetlerge iye bolıwına qaramastan, tolıq talaplardı orınlawshı lingvistikalıq avtomatlardı jarata almaydı. Bunıń tiykarǵa sebebi, joqarıdan tómen qaray isleytuǵın derlik bárshe moduller pútkil bir tekstlerdi semantikalıq yamasa sintaksislik analizde, sonday-aq sóz formalardıń leksikalıq-morfologiyalıq analizinde, kóp muǵdardaǵı lingvistikalıq hám enciklopediyalıq informaciyalardı talap etiw menen baylanıslı boladı. Bul informaciya sistemanıń eń tómengi blogında jaylasqan boladı. Onı lingvistikalıq informaciyalıq baza dep ataydı. Lingvistikalıq informaciyalıq baza degenimizde hár qıylı túrdegi jıynalǵan kompleksli avtomatikalıq sózlikke aytamız. Bul informaciya lingvistikalıq informaciyalıq bazadan arnawlı M₂ programmalıq modul arqalı suwırılıp alınadı hám LA nıń analizlewshi joqarı bólimine uzatıladı.

Informaciyalardı keyingi qayta islew procesi joqarıdan tómen qaray islew principinde ámelge asırıladı. Avtomattıń joqarǵı bóliminde tekstti semantikalıq-sintaksislik analizlewshi modulleri jaylasqan boladı. Atap aytqanda, kompressiya, indeksaciya, annotaciya yamasa tekstti kvazireferirlewshi semantikalıq-sintaksislik analizlewshi modulleri ornalasadı. Alınǵan nátiyjeler tómengi modullerge ótkerilip barıladı. Bul modullerde tekst fragmentlerge bólinip barıladı. Atap aytqanda, teksttiń úzindilerine sáykes qarap gáp quraw, baslawısh hám bayanlawıshlardıń toparların dúziw, atlıq penen feyillerden sóz birikpelerin dúziw hám t.b. Bunnan keyingi tómengi modullerde bolsa, joqarıdaǵı atalǵan fragmentlerdiń semantikalıq-sintaksislik analizi hám leksikalıq-morfologiyalıq tallaw jumısları alıp barıladı. Usınday izbe-izliktegi analizlewshi modullerge sintezlewshi modullerdiń shınjırları sáykes keledi. Bul orında hár bir analizlewshi Mᵢ (8=2,4,5...) modulge, sintezlewshi Mᵢ¹ modulli beriledi.

Anazlizlewshi Mᵢ moduli qayta islengen informaciyanı kelesi Mᵢ modulge uzatıp salıw qásiyetine iye. Bunnan basqa Mᵢ moduli sintezlewshi Mᵢ¹ moduline uzatıw qásiyetlerine iye ekenligin júrgizilgen sınawlar arqalı kóriwimiz múmkin.

Óz gezeginde Mᵢ¹ moduli sintezlengen informaciyanı tómendegi jaylasqan Mᵢ¹ moduline yamasa tuwrıdan-tuwrı lingvistikalıq avtomatqa uzatıwı múmkin. Basqasha sóz benen aytqanda, lingvistikalıq avtomatlardıń arxitekturalıq kórinisi joqarıdan tómenge qarap islewshi yamasa tómennen joqarı qaray islewshi óz-ara kelisimli jollarǵa iye bolǵan kórinislerge iye boladı.

Dúzilip shıqqan algoritmlerdegi lingvistikalıq avtomatlardıń arxitekturası tolıq islep bolınǵan yamasa olardıń paydalanıp bolınǵan múmkinshilikleri jetilisip bolınǵan dep aytıwǵa bolmaydı. Biraq ta tekstlerdiń házirgi zaman avtomatikalıq analizlew hám sintezlew tájiriybeleri lingvistikalıq avtomatlardıń islew principlerindegi ayırım paradokslardı azaytıw múmkinshiliklerine iye ekenligi anıqlandı. Lingvistikalıq avtomatlardıń bárshe modulleri universal informaciyalardı saqlawshı xızmetin lingvistikalıq informaciyalıq baza atqaradı. Onıń dúzilisi ashıqtan-ashıq informaciyalardı toltırıwshı qásiyetlerge iye boladı. Al, modullerdiń islew principlerindegi avtonomlıǵı bolsa, bul modullerdi óz gezeginde korrektirovka júrgiziwge, al ayırım gónergenlerin bolsa lingvistikalıq avtomatlardan shıǵarıp jiberiw yamasa ayırım jańaların kiritiwi múmkin. Bul orında korrektirovka, gónerip qalǵan informaciyalardı modullerden shıǵarıwda modullerdi taza sistemanı qayta qurmay-aq ámelge asırıwı múmkin. Bunnan basqa hár bir analizlewshi modullerdiń M₃ hám M₄ penen tikkeley baylanısıwı, sonday-aq M₃ hám M₄ moduller menen lingvistikalıq informaciyalıq baza hám sintezlewshi modullerdiń baylanısıwı kishigirim lingvistikalıq avtomatlardıń ǵárezsiz túrde tekstlerdi analizlew hám sintezlew múmkinshiliklerin jaratadı.

Olardıń bárshesi lingvistikalıq avtomatlardıń islew múmkinshiliklerin keńeytedi. Sonday-aq tillerdegi bolıp atırǵan ózgerislerdi esapqa alǵan jaǵdayda lingvistikalıq avtomatlardıń adresatlarınıń talabın qanaatlandırıw múmkinshilikleri de bir qansha talaplarǵa juwap bere aladı. Lingvistikalıq avtomatlardaǵı bunday ayrıqshalıqlardı olardıń adaptaciya yamasa beyimlesiw uqıplılıǵı dep túsinemiz. Bunday túrdegi lingvistikalıq avtomatlardıń adaptaciyası adam hám robot arasındaǵı qarama-qarsılıqlardı belgili bir dárejede azaytıwǵa sebepshi boladı.

Lingvistikalıq avtomatlardıń arxitekturasındaǵı modullerde leksikalıq-grammatikalıq aktualizaciyanı kiritiw arqalı lingvistikalıq informaciyalıq bazadaǵı artıq bolǵan til belgileri boyınsha informaciyalardı azaytıwǵa boladı. Informaciyalardı azaytıw arqalı tekstlerdi analizlewshi hám sóylew belgilerin dúziwshi modullerdi dúziwge boladı. Til belgileri modulleriniń sóylew belgileri modullerine ózgerislerdi kirite alıwları arqalı lingvistikalıq avtomatlardaǵı qarama-qarsılıqlardı saplastırıw jolların ámelge asırıwı modellestiriw procesindegi rawajlanıw basqıshındaǵı birinshi adım sıpatında qarawǵa boladı.

Ideal lingvistikalıq apparat (LA), birden-bir universal lingvistikalıq-informaciyalıq bazaǵa iye bolıwı kerek. Lingvistikalıq informaciyalıq baza shólkemlestirilgen barlıq lingvistikalıq dárejedegi birliklerdi, sonıń menen birge tekstlerdi avtomatikalıq analizlewge hám sintezlewge uqıplı xızmet etetuǵın variantlar kórinisinde boladı.
Lingvistikalıq informaciyalıq bazanıń universallıǵı onıń eń áhmiyetli xarakteristikası bolıp esaplanadı. Atap aytqanda, tekstlerdi qayta islewdiń bárshe kórinislerinde, leksikalıq-logikalıq hám grammatikalıq informaciyalardı talap dárejesinde jaylastırılǵan boladı.

Tekstlerdi avtomatikalıq qayta islew dáwirindegi paydalanatuǵın informaciyalar lingvistikalıq informaciyalıq bazanı qaytadan qurılmaytuǵın etip shólkemlestiriw kerek. Házirgi kúnde real paydalanılatuǵın lingvistikalıq informaciyalıq bazalardıń quramalı dúzilisi hám olardıń islew principleri tekstlerdi avtomatikalıq qayta islew dáwirinde konkret jaǵdaylarda ámelge asırılatuǵınlıǵın atap ótiwimiz kerek. Máselen, kompyuter menen awdarma, tekstlerdi avtomatikalıq indekslew, referirlew, informaciyalıq maǵlıwmatlardı izlew, lingvostatistikalıq hám leksikografiyalıq izertlew h.t.b. Bul orında lingvistikalıq informaciyalıq bazanıń tiykarǵı komponenti bolıp avtomatikalıq sózlik bolıp esaplanadı. Avtomatikalıq sózliktiń quramında algoritmlerdi iske qosıwshı eń tiykarǵı informaciyalar jaylasqan boladı.

Avtomatikalıq sózlik lingvistikalıq birliklerdiń tártiplesken dizimi kórinisinde boladı. Al, hárbir lingvistikalıq birlik bolsa, óz gezeginde tekstlerdi avtomatikalıq analizlew hám sintezlew dáwirinde leksikalıq-grammatikalıq, semantikalıq hám semantikalıq-sintaksislik qásiyetlerin anıqlawshı informaciyalar menen támiyinlengen boladı. Bul informaciya leksikalıq-grammatikalıq, semantikalıq hám semantikalıq-sintaksislik kodlar arqalı formallastırıladı. Avtomatikalıq sózliklerde (AS) zárúr bolǵan jaǵdaylarda hárbir lingvistikalıq birlikler stiklistikalıq, pragmatikalıq informaciyalar menen támiyinleniwi múmkin. Semiotikalıq kóz qarasta hárbir avtomatikalıq sózlik til birlikleriniń tártiplesken modeli sıpatında qaralıwı múmkin.

Tillerdiń dúzilisi, tekstlerdi avtomatikalıq analizlew hám sintezlewdiń qoyǵan máselelerine qaray otırıp, injenerlik lingvistikalıq (IL)kórinislerindegi avtomatikalıq sózliklerde tómendegishe qollanıladı.

1.Kompyuterlik tiykarlardıń (túbir sózlerdiń) avtomatikalıq sózligi. Buǵan elementar leksikalıq belgilerdiń modulleri kiredi.

2.Sóz formalardıń avtomatikalıq sózligi -Bul sostavlı belgilerdıń kompyuterlik modelin quraydı.

3.Sóz birikpeleriniń avtomatikalıq sózligi. Quramalı belgilerdıń modelin quraydı. Basqasha sóz benen aytqanda kompyuterlik oborotlardı quraydı.

4.Sintaksislik dúzilislerdiń avtomatikalıq sózligi. Sintaksislik belgilerdıń kompyuterlik modeli sıpatında qatnasadı. Eki tillik avtomatikalıq sózliklerdi dúzıw sxeması tómendegidey kóriniske iye:

Túbir sózlerden avtomatikalıq sózligi (AS) leri tiykarınan alǵanda flektiv hám agglyutinativ tillerdi avtomatikalıq qayta islew sistemasında keń taralǵan. Atap aytqanda rus, nemis, túrk, venger, yapon hám t.b. Sebebi bul tillerdiń konstrukciyalıq dúzilisindegi bay sistemalıq fleksiyaǵa túbir sózlerdiń izbe-izlikleriniń kúshli rawajlanǵanlıq ózgeshelikleri menen baylanıslı boladı. Túbir sózlerdiń avtomatikalıq sózlikleriniń tiykarǵı artıqmashılıǵı kompyuterdiń yadın qollanıwda, ádewir únemlew múmkinshiliklerin támiyinleydi. Bul orında sózlerdi dúziw barısında AS lerdegi bar túbir sózlerden paydalanıw múmkinshiliklerin jaratadı.

Degen menen túbir sózlerdiń avtomatikalıq sózliklerin dúziw jumıslarında tildiń morfologiyalıq dúzilisin sıpatlaw qıyınshılıqları menen baylanıslı boladı. Bunıń tiykarǵı sebebi, tillerdiń morfologiyalıq analizi hám sinteziniń algoritimin dúziw júdá kólemli jumıs bolıwı menen baylanıslı. Máselen, qaraqalpaq tilindegi al túbir sózine túrli jalǵawlardıń jalǵanıwı arqalı, onıń 300 ge jaqın forması bar ekenligi anıqlanǵan.

Mısal sıpatında qaraqalpaq tilindegi sat túbir sózin keltireyik. Bul túbir sózge sóz jasawshı hám forma jasawshı affikslerden izbe-iz jalǵanıwı nátiyjesinde, onıń leksikalıq-semantikalıq maydanı keńeyip baradı. Atap aytqanda tómendegi kórinistegi sóz jasawshı hám forma ózgertiwshi affikslerdiń jalǵanıwları arqalı onıń forması hám mánisi «quyash nurı» nıń keńeyiwi sıyaqlı kórinisti iyeleydi.

Sat-ıw-shı-lar-ımız-da-ǵı-lar

Túbir sózlerdiń avtomatikalıq sózligin dúziw jumısları morfologiyalıq hám texnikalıq jumıslardı ámelge asırıw zárúrlikleri menen baylanıslı boladı. Morfologiyalıq analizlewdiń hám sintezlewdiń algoritminiń islew kólemi hádden tıs kóp bolıwları menen ajıralıp turadı. Forma ózgertiwshi affikslerdiń túbir sózlerge jalǵanatuǵın forma variantların kórip, bul qubılıslarǵa iseniw múmkin. ASlerdiń konstrukciyalıq dúzilisinde tiykarǵı agglyutinativlik kompyuterlik morfologiya turadı. Hár bir sóz - formadan kompyuterlik tiykar sóz hám kompyuterlik jalǵawlar arqalı ajıratıladı. Bunday qubılıslardı ilimiy-texnikalıq terminologiyada kompyuterlik fleksiya dep ataydı. Lingvistikalıq birliklerdi kompyuterlik tiykar sózlerge hám kompyuterlik fleksiyalarǵa ajıratılıwlarınıń ámelge asırılıwları formal tárizde orınlanadı.

Máselen, R- túbir sóz, T-tartım jalǵawı, S-seplik jalǵawı, K-kóplik jalǵawı, B-betlik jalǵawı. Bul jalǵawlardıń álwan túrli variantların anıqlawda qolaylıqlardı jaratıw ushın, olardı R,T,S,K,B qısqartılǵan túrde belgilenedi.