A lattice-based approach for news chain construction

Abstract

Each news article and column can be part of a manually created news story or chain by journalists and columnists. However, increasing amounts of data published by news companies each year makes manual analysis thus creation of news stories and chains almost impossible. When the amount of data is considered, it is obvious that automated systems’ support is vital to journalists, columnists and intelligence analysts. A news chain is a set of news articles that form a connected and coherent whole. In the traditional “connecting the dots” approach, news chains are constructed based on given two articles as start and end news of the chain. In this study, a method is proposed to create coherent news chains without the predetermination of start and end articles of the chain. Intuition of the method comes from the partial order relation among news articles. We try to show that lattice structure can represent relation or hierarchy among news articles that have a partial order in nature. Creating concept lattice is prepared out of the inverted index structure of news articles which is one of the main contributions of the study. In the experimental work, an artificial dataset is processed to show the steps of the method. After that, we also provide the evaluation using real dataset results.

Haber kaynaklarından okunan her bir haber veya köşe yazısı aslında yazarlar ya da gazeteciler tarafından elle oluşturulmuş bir haber hikayesi veya zincirinin bir halkası olarak kabul edilebilir. Ancak, her yıl haber kaynakları tarafından yayınlanan ve gittikçe artan haber sayısı göz önüne alındığında, haberlerin elle analizi gittikçe zorlaşmakta ve hatta imkansız hale gelmektedir. Yayınlanan haber sayılarındaki artış ve oluşan haber arşivlerinin büyüklüğü değerlendirildiğinde, haber analizindeki otomasyon sistemleri, özellikle araştırmacı gazetecilik ve istihbarat analizi alanlarında vazgeçilmez bir ihtiyaç haline gelmektedir. Haber zinciri, kendi aralarında anlamlı ve bağlı bir bütün oluşturan haber dizisidir. Geleneksel “noktaları birleştirelim” yaklaşımında haber zincirleri iki uç noktasının arası doldurularak oluşturulmaktadır. Bu çalışma kapsamında, başlangıç ve bitiş haberleri önceden belirlenmemiş, tutarlı bir haber zinciri oluşturan bir metod önerilmektedir. Bu metodun dayandığı fikir, haberler arasındaki kısmi sıralama (partial order) bağıntısıdır. Kafes yapısının (lattice) haberler arasındaki ilişkiyi ve hiyerarşiyi modelleyebileceği ve temsil edebileceği üzerinde durulmaktadır. Kafes yapısının oluşturulmasında girdi olarak ters dizin (inverted index) yapısının kullanılması çalışmanın bir başka özgün noktasıdır. Deneysel çalışmalar bölümünde yapay bir veri seti üzerinde önerilen metodun aşamaları gösterilmektedir. Ardından gerçek veri setleri üzerinde elde edilen sonuçlar yorumlanarak sunulmaktadır.