Analyzing social media data by frequent pattern mining methods

Abstract

Data mining is a popular research area that has been studied by many researchers and focuses on finding unforeseen and important information in large dataset. Social media data is one of the most popular and large heterogeneous data collected from social networking sites, microblogs, photo or video sharing sites. Social media represents the entities and their relations. One of the popular data structures used to represent large heterogeneous data in the field of data mining is graphs. The nodes of a graph represent entities and the edges of a graph represent the relations between the entities. So, graph mining is one of the most popular subdivisions of data mining. A frequent pattern is referred to as pattern that is more frequently encountered than the user-defined threshold in a dataset. Frequent patterns in a dataset can give important information about dataset. Using this information, data can be classified or clustered. Frequent patterns can provide different perspective on social media data with respect to sociology, consumer behaviour, marketing, communities. In this thesis, popular frequent pattern mining algorithms have been examined and it has been observed that most algorithms are not suitable for large datasets. Since data in today’s world, especially social networks, has very large data, the existing pattern mining algorithms are not suitable for this data. The aim of this thesis is to implement an existing frequent pattern mining algorithm in parallel manner and to find frequent patterns in a social media data.

Veri madenciliği, birçok araştırmacı tarafından incelenen ve büyük veri setinde öngörülemeyen ve önemli bilgileri bulma üzerine odaklanan popüler bir araştırma alanıdır. Sosyal medya verileri, sosyal ağ siteleri, mikrobloglar, fotoğraf veya video paylaşım sitelerinden toplanan en popüler ve büyük heterojen verilerden biridir. Sosyal medya, varlıkları ve onların ilişkilerini temsil eder. Veri madenciliği alanındaki büyük heterojen verileri temsil etmek için kullanılan popüler veri yapılarından biri graftır. Bir grafın düğümleri varlıkları, kenarları ise varlıklar arasındaki ilişkileri temsil eder. Dolayısıyla, graf madenciliği, veri madenciliğinin en popüler alt bölümlerinden biridir. Bir sık örüntü, bir veri kümesinde kullanıcı tanımlı eşiğe göre daha sık rastlanan örüntü olarak adlandırılır. Veri kümesindeki sık örütüler veri kümesi hakkında önemli bilgiler verebilir. Bu bilgiyi kullanarak, veriler sınıflandırılabilir veya kümelenebilir. Sık örüntüler sosyoloji, tüketici davranışı, pazarlama, topluluklar açısından sosyal medya verilerine farklı bir bakış açısı sağlayabilir. Bu tez kapsamında popüler sık örüntü madenciliği algoritmaları incelenmiştir ve çoğu algoritmanın büyük veri setleri için uygun olmadığı gözlenmiştir. Günümüz dünyasındaki veriler, özellikle sosyal ağlar çok büyük verilere sahip olduğundan, var olan sık örüntü madenciliği algoritmaları bu veri setleri için uygun değildir. Bu tezin amacı, mevcut bir sık örüntü madenciliği algoritmasını paralel bir şekilde uygulamak ve bir sosyal medya verisinde sık örüntüleri bulmaktır.