Classification of Contradictory Opinions in Text Using Deep Learning Methods

Abstract

Natural language inference (NLI) problem aims to ensure consistency as well as accuracy of propositions while making sense of natural language. Natural language inference aims to classify the relationship between two given sentences as contradiction, entailment or neutrality. To accomplish the classification task, sentences or words must be translated into mathematical representations called vectors or embedding. Vectorization of a sentence is as important as the complexity of the classification model. In this study, both pre-trained (Glove, Fasttext, Word2Vec) and contextual word embedding methods (BERT) were used for comparison and acquire the best result. One of the natural language processing tasks NLI, is highly complex and requires solutions. Conventional machine learning methods are insufficient to carry out natural language processing solutions. Therefore, more advanced solutions are required. This study used deep learning methods to perform the classification task. Unlike conventional machine learning approaches, deep learning approaches reduce errors while increasing accuracy by repeating the data many times. Opinion sentences have complex grammatical structures that are difficult to classify. This study used Decomposable Attention and Enhanced LSTM for natural language inference to perform NLI classification task. Using the advanced LSTM deep learning method and Bert contextual vectors for natural language extraction on the SNLI dataset, an accuracy result 88.0% very close state of the art result 92.1% was obtained. In order to show the usability of the developed solution in different NLI tasks, an accuracy of 80.02% was obtained in the studies performed on the MNLI data set.

Doğal dil çıkarımı problemi, doğal dili anlamlandırırken önermelerin doğruluğunun yanında tutarlılığını da sağlamayı hedeflemektedir. Doğal dil çıkarımı, verilen iki cümlenin birbiri arasındaki ilişkinin karşıtlık, örtüşme - gerekseme veya tarafsızlık olarak sınıflandırmasını hedefler. Sınıflandırma görevini gerçekleştirmek için cümleler ya da kelimeler vektör ya da gömme olarak adlandırılan matematiksel gösterimlere çevrilmiş olmalıdır. Bir cümlenin vektörizasyonu, sınıflandırma modelinin karmaşıklığı kadar önemlidir. Bu çalışmada, hem önceden eğitilmiş (Glove, Fasttext, Word2Vec) hem de bağlamsal kelime gömme yöntemleri (BERT) karşılaştırma ve en iyi sonucu elde etmek için kullanılmıştır. Doğal dil işleme görevlerinden biri olan NLI oldukça karmaşıktır ve gelişmiş çözümler gerektirmektedir. Geleneksel makine öğrenmesi metodları doğal dil işleme çözümleri gerçekleştirmek için yetersizdir. Bu yüzden, daha gelişmiş çözümler gerekmiştir. Bu çalışma sınıflandırma görevi gerçekleştirmek için derin öğrenme yöntemlerinden faydalanmıştır. Geleneksel makine öğrenmesi yaklaşımlarından farklı olarak, derin öğrenme yaklaşımları veri üzerinde birçok kez tekrarlama gerçekleştirerek (Epoch), doğruluğu arttırırken hatayı düşürmektedir. Düşüncesel cümleler sınıflandırması zor olan karmaşık gramer yapılarına sahiptir. Bu çalışma, ayrıştırılabilir ilgi ve doğal dil çıkarımı için gelişmiş LSTM derin öğrenme modellerini, NLI sınıflandırma görevini gerçekleştirmek için kullanmıştır. SNLI veri seti üzerinde doğal dil çıkarımı için gelişmiş LSTM derin öğrenme yöntemi ve Bert bağlamsal vektörleri kullanılarak, rapor edilmiş en iyi sonuca %92.1 çok yakın bir değer %88.0 elde edilmiştir. Geliştirilen çözümün farklı NLI görevlerinde kullanılabilirliğini gösterebilmek için MNLI veri seti üzerinde yapılan çalışmalarda %80.02 doğruluk elde edilmiştir.