Comparison of document classification approaches for Turkish texts

Abstract

Internet usage is exponentially growing day by day. This rapid growth in Internet usage leads to an explosion in the number of electronic documents being produced daily. The huge bulk of documents make it difficult accessing the necessary and relevant information. Due to lack of logical organization, retrieval and processing of the desired information from huge number of documents becomes a complex and time consuming task with human effort. Therefore, document classification is significant task to manage and process the documents. In this thesis, the performance of different classification approaches produced from several algorithms is thoroughly evaluated. The main goal of the thesis is to determine the best combination of document preprocessing steps and classification algorithms. Different feature weighting, construction and selection methods are experimented on Turkish documents. Stemmed and original words and their bi-gram and tri-gram forms are used to construct the features which represent the documents. The effects of several weighting algorithms and the combination of feature selection and weighting algorithms on 3 different classification approaches are interpreted. The performance of 216 different classification process combinations are analyzed. Experimental results show that C4.5 (C4.5 Decision Tree) classification algorithm has the highest accuracy results in 95% of the results. SVM (Support Vector Machine) algorithm produces the closest results to C4.5 and it provides the highest accuracy in 5% of the experimental results. NB (Naive Bayes) algorithm has always the lowest accuracy rate in these 3 different classification algorithm results.

Gün geçtikçe yaygınlaşan internet kullanımıyla beraber elektronik belgelerde hızlı bir artış yaşanmaktadır. Belgelerin çoğu herhangi bir mantıksal yapıda olmadığı için insan gücü ile bu belge yığınlarının içinden istenilen bilgiye ulaşmak karmaşık ve zaman alıcı bir iştir; bu nedenle belgeleri hızlı bir şekilde düzenlemek, yönetmek ve işlemek için belge sınıflandırma önemli bir işlemdir. Bu tezde, Türkçe belgelerde farklı algoritmaların kullanılması ile birden fazla sınıflandırma yaklaşımının performansları değerlendirilmektedir. Tezin başlıca hedefi belge önişleme adımları ve sınıflandırma algoritmaları arasındaki en iyi kombinasyonun belirlenmesidir. Belgeleri temsil eden özelliklerin oluşturulmasında belgede geçen kelimelerin doğrudan kendileri, kökleri, bi-gram ve tri-gram formları kullanılmıştır. Bu özellik setlerine farklı ağırlıklandırma, seçim ve sınıflandırma algoritmalarının uygulanmasıyla 216 deneysel sonuç elde edilmiştir. Elde edilen deneysel sonuçlara göre, C4.5 (C4.5 Decision Tree) sınıflandırma algoritması sonuçların %95’inde en yüksek doğruluk değerine sahiptir. SVM (Support Vector Machine) algoritması C4.5’e en yakın sonuçları üretmektedir; ve bu sonuçların %5’inde en yüksek doğruluk değerini vermektedir. NB (Naive Bayes) algoritması ise bu 3 farklı sınıflandırma algoritması içinde her zaman en düşük doğruluk oranına sahip olduğu gözlemlenmiştir.