Tendencies of development science and practice 330 algorithms for interpreting word vectors

Advantages 
• 
Simple architecture: feed-forward , 1 input, 1 hidden layer, 1 output. 
• 
The model quickly learns and generates embeddings (even your own). 
• 
Embeddings are endowed with meaning, controversial points can be deciphered. 
• 
The methodology can be extended to many other areas/problems (eg Lda2vec ). 
Flaws 
• 
While the co-occurrence matrix provides global information, GloVe remains trained 
at the word level and provides little data about the sentence and the context in which 
the word is used. 
• 
Handles unknown and rare words poorly. 
Source : Jeffrey Pennington, Richard Socher, and Christopher D. Manning, GloVe : 
Global Vectors for Word Representation (2014), Empirical Methods in Natural 
Language Processing 
2.Word2vec. 
In 2013, Tomas Mikolov of Google proposed a more efficient learning model 
for word vector representations, Word2vec. The method was based on the assumption 
that words that are often found in the same contexts have similar meanings. The 
changes were simple - removing the hidden layer and approximating (simplifying) the 
target - but became a turning point in the development of NLP language models. 
Instead of a continuous bag of words algorithm, the Word2Vec model uses Skip-
gram (skip phrase). The purpose of this model is exactly the opposite of the previous 
model - to predict the surrounding words based on the central one. 
Continuous bag of words and Skip-gram architectures. 
Skip Gram 
A "context window" is 
formed - a sequence of k 
words in the text. One of 
these words is skipped, and 
the neural network tries to 
predict it. Thus, words that 
often occur in a similar 
context will have similar 
vectors. 

---

TENDENCIES OF DEVELOPMENT SCIENCE AND PRACTICE 
336 
Negative Sampling 
Many words in the texts do not occur together, so the model performs a lot of 
unnecessary calculations. Calculating softmax is a computationally expensive 
operation. The Negative Sampling approach allows you to maximize the probability of 
meeting the desired word in a context that is typical for it, and minimize it in a rare / 
atypical context. 
Vector magic. 
The Word2vec model amazed researchers with its "interpretability". Learning 
on large corpora of texts allows you to determine deep relationships between word 
forms, for example, gender. If the vector corresponding to the word Man (Man) is 
subtracted from the vector Woman (Woman), the result will be very similar to the 
difference between the vectors King (King) and Queen (Queen). 
At one time, such a relationship between words and their vectors seemed almost 
magic. You can find some more fun examples of vector arithmetic in the article What 
life becomes without love. Despite the huge contribution that the model made to NLP, 
now it is almost not used - worthy heirs have replaced it. 
Finished Models 
The pretrained model is readily available online. It can be imported into a Python 
project using the gensim library. 
Advantages 
❖ 
Simple architecture: feed-forward, 1 input, 1 hidden layer, 1 output. 
❖ 
The model quickly learns and generates embeddings (even your own). 
❖ 
Embeddings are endowed with meaning, controversial points can be 
deciphered. 

---

TENDENCIES OF DEVELOPMENT SCIENCE AND PRACTICE 
337 
❖ 
The methodology can be extended to many other areas/problems (eg 
Lda2vec). 
• Flaws 
• Word-level learning: No information about the sentence or the context in 
which the word is used. 
• Co-occurrence is ignored. The model does not take into account the fact 
that a word can have a different meaning depending on the context of use. 
This is the main reason why GloVe is generally preferred over Word2Vec. 
FUTURE WORK 
NLP’s future will be redefined as it faces new technological challenges and a 
push from the market to create more user friendly systems. Market’s influence is 
prompting fiercer competition among existing NLP based companies. It is also pushing 
NLP more towards Open Source Development. If the NLP community embraces Open 
Source Development, it will make NLP systems less proprietary and therefore less 
expensive. The systems will also be built as easily replaceable components, which take 
less time to build and more userfriendly [9]. Chatterbots – although they exist already, 
new generations of them are being constantly developed. Chatterbots use natural 
language processing to simulate conversations with users. Web sites are beginning to 
install chatterbots as Web guides and customer service agents.
CONCLUSION 
While NLP is a relatively recent area of research and application, as compared 
to other information technology approaches, there have been sufficient successes to 
date that suggest that NLP-based information access technologies will continue to be a 
major area of research and development in information systems now and far into the 
future. The importance of NLP in processing the input text to be synthesized is 
reflected. The naturalness of the speech utterances produced by the signal-processing 
modules are tightly bound to the performance of the previous text-processing modules.