Tendencies of development science and practice 330 algorithms for interpreting word vectors

4.FastText _ 
Created by Facebook , the fastText library is another major step in the 
development of natural language models. Thomas Mikolov , already familiar to us from 
Word2Vec, took part in its development . Both skip-gram , negative sampling and the 
continuous bag algorithm are used to vectorize words . 
The character n-gram model has been added to the basic Word2Vec model. Each 
word is represented by a composition of several sequences of characters of a certain 
length. For example, the word they , depending on the hyperparameters , can consist 
of " th ", " he ", " ey ", " the ", " hey ". Essentially, a word vector is the sum of all its 
n-grams. 
The results of the classifier are well suited for words with a low frequency of 
occurrence, since they are divided into n-grams. Unlike Word2Vec and Glove , the 
model is capable of generating embeddings for unknown words. 
Finished Models 
prepared model for 157 languages (including Russian) is available online . 
Advantages 
❖ 
Relatively simple architecture: feed-forward , 1 input, 1 hidden layer, one output 
(although n-grams add complexity to embedding generation ). 
❖ 
Thanks to n-grams, it works well on rare and obsolete words. 
Flaws 
• 
Word-level learning: No information about the sentence or the context in which 
the word is used. 
• 
Co-occurrence is ignored, i.e. the model does not take into account the different 
meaning of the word in different contexts (so GloVe may be preferable) 
All four models have much in common, but each should be used in the right 
context. Unfortunately, this point is often ignored, resulting in suboptimal results. 
CONCLUSION 
. It simplifies the recognition task by assuming that the input speech utterances 
must be produced according to a predefined set of grammatical rules. Its capabilities 
can though be enhanced through the usage of NLP aiming at more natural interfaces 
with a certain degree of knowledge. Reviews the major approaches proposed in 
language model adaptation in order to profit from this specific knowledge. 

---

TENDENCIES OF DEVELOPMENT SCIENCE AND PRACTICE 
332 
Reference 
1. J. R. Bellegarda, “Statistical language model adaptation: Review and 
perspectives,” vol. 42, no. 1, pp. 93–108, 2004.
2. Y.-Y. Wang, M. Mahajan, and X. Huang, “A unified context-free grammar and 
n-gram model for spoken language processing,” in IEEE International 
Conference on Acoustics, Speech, and Signal Processing, vol. III, (Istanbul, 
Turkey), pp. 1639–1642, Institute of Electrical and Electronics Engineers, Inc., 
2000 L.
3. Zhou and D. Zhang, “NLPIR: a theoretical framework for applying natural 
language processing to information retrieval,” J. Am. Soc. Inf. Sci. Technol., 
vol. 54, no. 2, pp. 115–123, 2003 . 
4. 
Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, 
Efficient Estimation of 
Word Representations in Vector Space
(2013), International Conference on 
Learning Representations.
5. 
Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Jauvin,
A Neural 
Probabilistic Language Model
(2003), Journal of Machine Learning Research.

---

TENDENCIES OF DEVELOPMENT SCIENCE AND PRACTICE 
333