Density grid based stream clustering algorithm

Abstract

Recently as applications produce overwhelming data streams, the need for strategies to analyze and cluster streaming data becomes an urgent and a crucial research area for knowledge discovery. The main objective and the key aim of data stream clustering is to gain insights into incoming data. Recognizing all probable patterns in this boundless data which arrives at varying speeds and structure and evolves over time, is very important in this analysis process. The existing data stream clustering strategies so far, all suffer from different limitations, like the inability to find the arbitrary shaped clusters and handling outliers in addition to requiring some parameter information for data processing. For fast, accurate, efficient and effective handling for all these challenges, we proposed DGStream, a new online-offline grid and density-based stream clustering algorithm. We conducted many experiments and evaluated the performance of DGStream over different simulated databases and for different parameter settings where a wide variety of concept drifts, novelty, evolving data, number and size of clusters and outlier detection are considered. Our algorithm is suitable for applications where the interest lies in the most recent information like stock market, or if the analysis of existing information is required as well as cases where both the old and the recent information are all equally important. The experiments, over the synthetic and real datasets, show that our proposed algorithm outperforms the other algorithms in efficiency.

Son zamanlarda uygulamalar çok büyük veri akışları ürettiğinden, akış verilerini analiz etmek ve kümelemek için stratejilere duyulan ihtiyaç, bilgi keşfi için acil ve çok önemli bir araştırma alanı haline gelimiştir. Veri akışı kümelemesinin temel ve kilit amacı, gelen verilere ilişkin fikir edinmektir. Değişken hızlara ve yapılara ulaşan ve zamanla gelişen bu sınırsız verilerde tüm olası kalıpları tanımak, bu analiz sürecinde çok önemlidir. Şimdiye kadar mevcut veri akışı kümeleme stratejileri, veri işleme için bazı parametre bilgileri gerektirmesinin yanı sıra, isteğe bağlı olarak şekillendirilmiş kümeleri bulamama ve aykırı değerleri kullanma gibi farklı sınırlamalardan mustariptir. Tüm bu zorlukların hızlı, doğru, verimli ve etkili bir şekilde ele alınması için yeni bir çevrimiçi - çevrimdışı ızgara ve yoğunluk tabanlı akış kümeleme algoritması olan DGStream'i önerdik. DGStream'in farklı benzetilmiş veri tabanları üzerindeki performansını ve çok çeşitli kavram sapmalarının, yeniliklerin, değişen verilerin, kümelerin sayısı ve boyutunu ile aykırı verilerin saptanması dikkate alındığında farklı parametre ayarları için DGStream'in performansını değerlendirdik. Algoritmamız, borsa gibi en son bilgilere ilgi duyulan uygulamalar için veya mevcut bilgilerin analizinin gerekli olduğu durumlarda ya da hem eski hem de son bilgilerin hepsinin eşit derecede önemli olduğu durumlar için uygundur. Sentetik ve gerçek veri setleri üzerinden yapılan deneyler, önerilen algoritmamızın verimlilikteki diğer algoritmalardan daha iyi performans gösterdiğini sergilemektedir.