Discovering specific semantic relations among words using neural network methods

Abstract

Human-level language understanding is one of the oldest challenges in computer science. Many scientific work has been dedicated to finding good representations for semantic units (words, morphemes, characters) in languages. Recently, contextual language models, such as BERT and its variants, showed great success in downstream natural language processing tasks with the use of masked language modelling and transformer structures. Although these methods solve many problems in this domain and are proved to be useful, they still lack one crucial aspect of the language acquisition in humans: Experiential (visual) information. Over the last few years, there has been an increase in the studies that consider experiential information by building multi-modal language models and representations. It is shown by several studies that language acquisition in humans start with learning concrete concepts through images and then continue with learning abstract ideas through text. In this work, the curriculum learning method is used to teach the model concrete/abstract concepts through the use of images and corresponding captions to accomplish the task of multi-modal language modeling/representation. BERT and Resnet-152 model is used on each modality with attentive pooling mechanism on the newly constructed dataset, collected from the Wikimedia Commons. To show the performance of the proposed model, downstream tasks and ablation studies are performed. Contribution of this work is two-fold: a new dataset is constructed from Wikimedia Commons and a new multi-modal pre-training approach that is based on curriculum learning is proposed. Results show that the proposed multi-modal pre-training approach increases the success of the model.

Doğal dillerin anlaşılması, bilgisayar bilimlerinin en eski problemlerinden biridir. O günlerden bu yana, birçok çalışma dillerdeki anlamsal birimlerin (kelime, hece ve harf) temsiline adanmıştır. Yakın zamanda, BERT ve türevleri gibi bağlamsal dil modelleri, maskelenmiş dil modelleme ve transformer yapıları kullanarak büyük başarılar göstermiştir. Bu metodlar, alandaki birçok problemi çözmesine ve kullanışlılığını kanıtlamasına rağmen dil öğreniminde önemli bir rolü olan deneyimsel (görsel) bilgiyi dikkate almamaktadır. Son birkaç yılda deneyimsel bilgiyi göz önünde bulunduran çok-kipli dil modelleri ve temsilleri üzerine olan çalışmalarda artış vardır. Birkaç çalışmanın gösterdiği üzere, dil öğrenimi insanlarda imgelerden somut kavramları öğrenerek başlar ve yazım yoluyla soyut kavramları öğrenerek devam eder. Bu çalışmada, somut kavramları imgeden öğrenen ve soyut kavramları yazımdan öğrenen, izlence öğrenimi yöntemini kullanan bir çok-kipli dil modeli/temsili önerilmiştir. Yazım ve imge kipleri için sırasıyla BERT ve Resnet-152 modelleri, dikkat havuzlaması yöntemiyle biraraya getirilerek, yeni oluşturulmuş Wikimedia Commons veri kümesi üzerinde kullanılmıştır. Önerilen metodun başarımı doğal dil işleme görevleri üzerinde ve ablasyon çalışması ile sınanmıştır. Bu çalışmanın katkısı iki yönlüdür: Wikimedia Commons kullanılarak yeni bir veri kümesi oluşturulmuş ve izlence öğrenimine dayanan yeni bir çok-kipli ön-eğitim yaklaşımı önerilmiştir. Elde edilen sonuçlar bu çok-kipli ön-eğitim yönteminin modelin başarımını artırdığını göstermektedir.