News story analysis with credibility assessment by opinion mining

Abstract

With the growing influence of media and the popularity and widespread use of social networks, credibility of the news sources became an important subject that needs more attention. The biggest problem of finding credible sources is, instead of giving every aspect of the incident, news sources tend to accept one of the parties’ idea as a whole while rejecting every other ideas, or even worse, they focus on only one side of the incident and ignoring the rest. Credibility is defined as “The quality of believable and trustworthy”. The notion of trustworthiness can further be decomposed into components like bias, fairness, factual/ opinionated, etc. In this thesis, credibility is measured using the fact/opinion ratio of the articles. Two methods, which are the traditional Naive Bayes method and the Relativistic method, are proposed. The intuition of relativistic method comes from the theory of relativity where the sentiment of the articles is determined relatively to the ordinary context used by people in daily speech. We have tested our methods on four different types of data, hand-written articles, editorials, New York Times articles and Reuters articles, and aimed to show that our proposed models are able to differentiate the sentiments in the articles. In the experimental work, we provided a detailed evaluation of the results.

Sosyal ağların yaygınlaşması ve popülerleşmesi ve medyanın etkisinin giderek artmasıyla birlikte, haber kaynaklarının güvenilirliği, üzerinde durulması gereken önemli bir konu haline gelmiştir. Güvenilir kaynakları bulmaktaki en büyük sorun, haber kaynaklarının haberin tüm yönlerini vermek yerine bir fikri kabul edip diğerlerini reddetmesi ya da daha kötüsü, tek bir fikrin savunulup diğerlerinin tamamen görmezden gelinmesidir. Güvenilirlik birçok kaynakta “inanılabilirlik ölçüsü” olarak tanımlanmıştır. İnanılabilirlik kavramı taraflılık, adillik gerçeğe-dayalılık/fikre-dayalılık olarak daha da alt başlıklara bölünebilir. Bu tezin kapsamında, güvenilirlik ölçümü gerçek/fikir oranı kullanılarak yapılmıştır. Geleneksel Naive Bayes ve göreliliksel yöntemleri kullanan iki yöntem önerilmiştir. Göreliliksel yöntem kavramı, haber makalelerindeki fikir ve duyguların genel ve günlük konuşmalardan göreli olarak ne kadar farklı olduğuyla anlaşılabileceğini iddia edecek şekilde görelilik kuramından esinlenilmiştir. Yöntemlerimizi dört çeşit veri (elle yaratılmış makaleler, New York Times’ın başyazıları, New York Times haber makaleleri ve Reuters haber makaleleri) üzerinde test edilmiş ve yöntemlerimizin gerçek ve fikirleri ayırt edebildiği gösterilmiştir. Deneysel değerlendirme bölümünde elde edilen sonuçlar detaylı olarak açıklanmıştır.