Keypoint matching based on descriptor statistics

Abstract

The binary descriptors are the representation of choice for real-time keypoint matching. However, they suffer from reduced matching rates due to their discrete nature. In this thesis, we propose an approach that can augment their performance by searching in the top K near neighbor matches instead of just the single nearest neighbor one. To pick the correct match out of the K near neighbors, we exploit statistics of descriptor bit variations collected for each keypoint individually in an off-line training phase. This is similar in spirit to approaches that learn a patch specific keypoint representation. Unlike these approaches, we limit the use of a keypoint specific score only to rank the list of K near neighbors. Since this list can be efficiently computed with approximate nearest neighbor algorithms, our approach scales well to large descriptor collections.

Gerçek zamanlı uygulamalarda, ikili betimleyiciler anahtar noktaların eşleştirilmesinde sıklıkla kullanılmaktadır. İkili betimleyicilerin ayrık yapıları doğru eşleşmelerin sayısında düşüklüğe sebep olmaktadır. Bu tez çalışmasında, doğru eşleşme en yakın komşu yerine en iyi K komşuyu içeren bir liste üzerinde aranarak ikili betimleyicilerin performansında iyileştirme amaçlanmıştır. Bu liste üzerinde doğru eşleşmeyi seçebilmek için, her anahtar noktanın ikili betimleyicisinin bit değişimlerinin istatistikleri çevrimdışı eğitim aşamasında çıkarılmıştır. Bu yöntem, anahtar noktaları etrafındaki belirli bir imge alanıyla temsil eden anahtar nokta özgü yaklaşımlara benzerlik göstermektedir. Bu yaklaşımlardan farklı olarak, anahtar noktaya özgü skor sadece en yakın K komşuyu içeren listeyi sıralamak için kullanılmıştır. Bu liste yaklaşık en yakın komşuyu bulma algoritmalarıyla birlikte hızlı ve verimli olarak hesaplanabileceği için, geliştirilen yöntem büyük betimleyici kümelerine ölçeklendirilebilir.