Application development for improving website usability by web mining methods

Abstract

The explosive growth in website traffics and website usage data has resulted in the amount of valuable information contained to have a similar uptrend in web usage logs. With the increasing competition between websites, mining web usage logs to discover meaningful information is needed more than ever. Web usage mining is the procedure of using data mining methods to discover insightful patterns in web usage logs. The discovered information helps understand how users behave on the website and their needs. One of the most popular algorithmic approaches of pattern mining on web usage data is the Fp-growth algorithm. For larger volumes of data, the algorithm is generally applied to execute in parallel. Measuring and comparing performances of applications is difficult, because the algorithm performs different on usage logs with different characteristics. The characteristics of usage logs are highly related with the type of the website. In this paper, we have investigated how different characteristics of web usage logs effect the performance of the parallel Fp-growth algorithm. Five datasets with varying log characteristics were used in order to represent different business models. The results suggest that the performance is highly correlated with the number of items, number of frequent items, transaction length, similarity between frequent patterns, minimum support value and size of the log file.

Web sitesi trafik ve kullanımındaki hızlı artış, web sitesi kullanımına ilişkin değerli bilgiler içeren kayıtlarda da benzer bir yükselişe sebebiyet vermiştir. Web siteleri arasındaki artan rekabetle beraber, kullanım verilerine veri madenciliği metodolojileri uygulayarak anlamlı bilgileri keşfetmek her zamankinden önemli bir hal almıştır. Web kullanımı madenciliği (web usage mining), veri madenciliği tekniklerini kullanım verileri içerisinde mevcut olan desenleri keşfetmek üzere uygular. Bu desenler web temelli uygulamaları ihtiyaçlarını daha iyi anlayarak web sitesi kullanılabilirliğini geliştirebilmek üzere kullanılabilecek değerli bilgiler içermektedir. Web kullanımı verisi üzerinde desenleri keşfetmede en sıklıkla kullanılan algoritmalardan biri Fp-growth algoritmasıdır. Büyük hacimde veriler için algoritma genellikle paralel çalışacak şekilde uygulanır. Uygulanan algoritmanın performansı kullanılan verinin karakteristik yapısıyla yakın ilişkili olduğundan, gerçekleştirilen farklı uygulamaların performansını karşılaştırmak güç olmaktadır. Verinin karakteristik özellikleri de web sitesinin türü ve amacına göre değişkenlik göstermektedir. Bu çalışmada, web kullanımına ilişkin kayıtların farklı karakteristik yapılarının paralel Fp-growth algoritmasının performansına olan etkileri incelenmiştir. Uygulama çeşitli iş modellerini temsil etmek üzere farklı karakteristiklere sahip beş farklı veri seti üzerinde çalıştırılarak performans analizi yapılmıştır. Sonuçlar algoritma performansının veri setindeki toplam eleman sayısı, özgün eleman sayısı, sıklık ölçümünde alt eşik (minimum support threshold) değeri, alt eşiğin üzerinde kalan ’sık’ eleman sayısı, sık görülen desenler arasındaki benzerlik oranı, tek bir işlemin (transaction) uzunluğu ve veri setinin boyutu gibi özelliklerle yakından ilişkili olduğunu göstermektedir.