NLP kutubxonalari.
1. NLTK (Natural Language Toolkit)
NLTK Python freymvorki hisoblanib, odatda oʻquv
va ilmiy jarayonlardagi masalalarni hal qilishda foydalaniladi.
Uning qulay imkoniyatlari tufayli turli xildagi dasturlarni
yaratish uchun NLTKdan foydalanish mumkin [9-11].
Vazifalari:
•
Tokenizatsiya.
•
Soʻz turkumlarini teglash (POS tagging)
•
Nomga ega obyektlarni aniqlash (NER)
•
Kayfiyat / tuygʻularni tahlil qilish
•
Chat-botlar toʻplamlarini tahlil etish
NLTK frameworkidan foydalanishning afzallik va
kamchiliklari:
Afzalliklari
Kamchiliklari
+1) Eng koʻp foydalaniladigan va toʻliq imkoniyatlarga ega
NLP kutubxonasi
+1) Oʻrganish va ishlatish qiyin
+2) Koʻp sonli tillar uchun foydalanish mumkin
+2) Soʻzning kontekstiga e’tibor berilmaydi
+3) Sekin ishlaydi
+4) Neyro-tarmoq modeli yoʻq
2. spaCy [8] – tezkor tarzda dastur yaratishga moʻljallangan Pythondagi ochiq kodli tabiiy tilni qayta ishlash
kutubxonasi hisoblanadi [11].
Funksiyalari:
•
Tokenizatsiya
•
Soʻ turkumlarini teglashtirish (POS)
•
Nomga ega obyektlarni aniqlash (NER)
•
Tasniflash
•
Kayfiyat / tuygʻularni tahlil qilish
•
Tobelik tahlili
•
Soʻz vektorlari
Qoʻllanilishi:
•
Satrlarni avtotoʻldirish va avtotahrir
•
Sharhlarni tahlil qilish
•
Referatlash / umumlashtirish
spaCy frameworkidan foydalanishning afzallik va kamchiliklari:
Afzalliklari
Kamchiliklari
+1) Tez ishlaydi
+1) moslashuvchanligi past
+2) Oʻrganish va foydalanish oson
+3) Neyro-tarmoqlardan foydalanish mumkin
3. Gensim [9] – Python NLP frameworki boʻlib, odatda modellashtirish va oʻxshashlikni aniqlashda foydalaniladi.
Do'stlaringiz bilan baham: |
