Ortak Bilgi Miktarının Modelden-bağımsız ve Hızlı Hesaplanması için Yeni Yöntemler

Abstract

Bu çalışmada, iki rastlantısal değişken arasındaki ortak bilgi miktarının veri üzerinden hesaplanmasına yönelik yeni yaklaşımlar önerilmiştir. Bu yaklaşımlar, doğrusal dönüşüm altında diferansiyel entropinin gösterdiği özellikleri kullarak ve koşullu entropiyi modelden-bağımsız bir şekilde küçültmeye çalışarak kestirim yapacak şekilde kurgulanmıştır. Birim vektör parametrizasyonu ve veri oturtmaya dayanan tahmin edici olarak adlandırdığımız yöntemlerin, yaygın olarak kullanılan Kraskov yöntemiyle yapılan karşılaştırmalarda, örnek sayısı arttıkça işlem hızı açısından avantaj sağladığı görülmüştür.

In this study, two new approaches are proposed to calculate mutual information between two random variables from data. These approaches are constructed in a way to use the properties of the differential entropy under linear transformations and to try to minimize conditional entropy in a model-free manner. In comparisons with a widely used mutual information estimator, the Kraskov method, the methods that we termed as unit vector parametrization and data fitting based estimators, offered an advantage in terms of computation speed.