Please use this identifier to cite or link to this item: https://hdl.handle.net/11147/11256
Title: Doğal dil çıkarımı modellerinde BERT vektörlerinin başarım değerlendirmesi
Other Titles: Performance evaluation of BERT vectors on natural language inference models
Authors: Oğul, İskender Ülgen
Tekir, Selma
Keywords: BERT
Decomposable Attention
ESIM
Natural Language Inference
SNLI
Issue Date: 2021
Publisher: Institute of Electrical and Electronics Engineers Inc.
Abstract: Natural language inference aims to classify the binary relation between opinionated sentences as a contradiction, entailment, or neutral. To accomplish the task, classifiers transform textual data into numerical representations called vectors or embeddings. In this study, both static (Glove, OntoNotes5) and contextual (BERT) word embedding methods are used. Classifying the logical relationships between opinionated sentences is difficult. These sentences have complex grammatical structures to convert them into logical representations, and traditional natural language processing solutions are insufficient to meet the requirement. This study uses Decomposable Attention and Advanced LSTM for Natural Language Inference (ESIM) deep learning methods to perform this classification. The best accuracy score is achieved with 88% using ESIM - BERT on the SNLI corpus. © 2021 IEEE.
Doğal dil çıkarımı, düşünce ifade eden cümlelerin arasındaki ilişkiyi; karşıtlık, gerekseme veya tarafsızlık olarak sınıflandırmayı hedefler. Sınıflandırma görevini gerçekleştirmek için metinsel kaynaklar, vektör ya da gömme olarak adlandırılan matematiksel gösterimlere dönüştürülür. Bu çalışmada, hem statik (Glove, OntoNotes5) hem de bağlamsal (BERT) kelime gömme yöntemleri kullanılmıştır. Fikirsel cümleler arasındaki mantıksal ilişkilerin sınıflandırılması zordur zira cümleler karmaşık gramer yapılarına sahiptir ve cümlelerin işlenerek mantıksal gösterimlere dönüştürülmesi geleneksel doğal dil işleme çözümleri ile yetersiz kalmaktadır. Bu çalışma, sınıflandırma görevini gerçekleştirmek için ayrıştırılabilir ilgi ve doğal dil çıkarımı için gelişmiş LSTM (ESIM) derin öğrenme modellerini kullanmıştır. En iyi sonuç olan %88 doğruluk değeri SNLI veri kümesi üzerinde ESIM-BERT ile elde edilmiştir.
Description: 29th IEEE Conference on Signal Processing and Communications Applications, SIU 2021 -- 9 June 2021 through 11 June 2021
URI: http://doi.org/10.1109/SIU53274.2021.9478044
https://hdl.handle.net/11147/11256
ISBN: 9781665436496
Appears in Collections:Computer Engineering / Bilgisayar Mühendisliği
Scopus İndeksli Yayınlar Koleksiyonu / Scopus Indexed Publications Collection

Files in This Item:
File SizeFormat 
Performance_Evaluation.pdf571 kBAdobe PDFView/Open
Show full item record

CORE Recommender

Page view(s)

60
checked on Jul 4, 2022

Download(s)

28
checked on Jul 4, 2022

Google ScholarTM

Check

Altmetric


Items in GCRIS Repository are protected by copyright, with all rights reserved, unless otherwise indicated.