Shakllanishi


Download 0.98 Mb.
Pdf ko'rish
bet22/36
Sana05.01.2022
Hajmi0.98 Mb.
#212299
1   ...   18   19   20   21   22   23   24   25   ...   36
Bog'liq
Abdurahmonova Sayyora

 

 

 

2.2  Matnni  morfologik va sintaktik  darajada avtomatik  

tahrir qilish dasturining lingvistik moduli 

So‘zni    turkumlarga    bo‘lishda    ikki    umumiy      superkategoriya    mavjud: 

yopiq sinf  va  ochiq  sinf

19

.Yopiq  sinflar  boshqa  a’zolar  bilan  aloqa  o‘rnatgan. 



Masalan, predloglar  yopiq  sinf  hisoblanadi, chunki  ana  shu  aloqalar  natijasida  

o‘rnatilgan, yangi  predloglar  kamdan-kam  hollarda  hosil  bo‘ladi. Bundan  farqli  

ravishda,otlar  va  fe’llar  ochiq  sinf  hisonlanadi, chunki  yangi  otlar  va  fe’llar  

davomiy  tarzda  paydo  bo‘lib  boradi  yoki  boshqa  tillardan  o‘zlashtiriladi.  

Dunyo  tillarida  to‘rtta  katta  ochiq  guruh  mavjud: otlar, fe’llar, sifatlar  va  

ravishlar.  

So‘zlarni      turkumlarga    ajratish    algoritmi    bu    so‘zlarni    bir    tizimga  

tizilishi    va    ma’lum    bir    tartibda      belgilanishidir.  Ingliz    tilida    so‘zlarni   

turkumlarga    ajratishda    Brown    korpusi  (1979)    dastlabki    asosiy    ajratish 

                                                           

19

Daniel Jurafskiy & James H. Martin.Speech  and Language Processing: An introduction  to  natural  language  



processing, computational linguistics and speech  recognition.    


 

 

39 



namunasi  bo‘lib, turli  janrlarda  yozilgan  500  dan  ortiq  matndan  1  million  ta  

so‘zlar  to‘plamini  o‘z  ichiga  oladi. Bu  korpusbirinchi  turkumlarga  ajratishda  

dastlabki    tadqiqotlardan    biri    hisoblanadi.  Unda    87    ta    ajratilgan    to‘plam  

berilgan. Keyinchalik  45  ta  ajratilgan  to‘plamga  ega Penn  Treebank  korpusi 

(Marcus,  1993),    Britaniya  Milliy    Korpusi    (British    National    Corpus,    1997)   

kabi  so‘z turkumlariga  ajratishdagi to‘plamlar  berilgan. Quyida  45  ta  ajratilgan  

to‘plamga  ega  Penn Treebank  korpusi beriladi. 

Ba’zi  turkumlarga  ajratishdagi  farqlar  inson  uchun  ham, mashina  uchun  

ham    murakkabdir.  Masalan,  predloglar,  yordamchi    so‘zlar,  ravishlar    katta  

o‘xshashlikka    ega. Masalan,  around    so‘zi    yuqorida    sanalgan   uchta    vazifada  

ham  kelishi  mumkin: 

1.  Mrs. Shafaer  never  got  around(particle) to joining. 

(Mister Shafaer birlashtirishda  ortga  qaytmagan). 

2.  All  we  gotta  do  is  go  around  in (determiner)  the  corner. 

3.  Chateau  Petrus  costs  around(adverb)  250. 

(Chateau  Petrusi taxminan  250  narxlanadi). 

Ajratish (Tag)   Tavsif (Description) 

Namuna 


CC 

Coordin. Conjuction 



and, but, or  

CD 


Cardinal number 

one, two, three  

DT 


Determiner 

a, the  

EX 


Existential ‘there’ 

There 

FW 


Foreign word  

Mea culpa 

IN  


Preposition/sub-conj 

of, in, by  

JJ 


Adjective 

Yellow 

JJR 


Adj.,comparative 

Bigger 

JJS 


Adj., superlative 

Wildest 

LS 


List item marker 

1,2, One 

MD 


Modal 

Can, should 

NN 


Noun, sing. or mass 

Ilama 


 

 

40 



NNS 

Noun, plural 



Ilamas 

NNP 


Proper noun, singular 

IBM 

NNPS 


Proper noun, plural 

Carolinas 

PDT 


Predeterminer 

all, both  

POS 


Possessive  ending 

‘s 

PRP 


Personal pronoun 

I, you, he 

PRP$ 


Possesive  pronoun 

your, one’s  

RB 


Adverb 

quickly, never  

RBR 


Adverb, comparative 

Faster 

RBS 


Adverb, superlative 

Fastest 

RP 


Download 0.98 Mb.

Do'stlaringiz bilan baham:
1   ...   18   19   20   21   22   23   24   25   ...   36




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©fayllar.org 2024
ma'muriyatiga murojaat qiling