Improved image based localization using semantic descriptors

Abstract

Place recognition and Visual Localization (VL) for autonomous driving are the topics that keep their popularity in the field of Computer Vision. In this study, semantically improved Hybrid-VL approaches, that use localization aware semantic information in street-level driving images are proposed. Initially, Semantic Descriptor (SD) is extracted from semantically segmented images with a Convolutional Neural Network (CNN) trained for localization task. Then, image retrieval based VL task is performed using the approximate nearest neighbor search (ANNS) in 2D-2D matching context. This proposed method is named as SD-VL and its success is compared with the success of the state-of-the-art Local Descriptor (LD) based VL method (LD-VL) which is frequently used in the literature. Furthermore, with the aim of alleviating the shortcomings of both two methods, a novel decision-level Hybrid-VL (Hybrid-VL_DL ) method is proposed by combining SD-VL and LD-VL in post-processing stage. Also feature-level Hybrid-VL (Hybrid-VL_FL ) method is proposed in order to produce automatically tuned hybrid result. These proposed VL methods are examined on two challenging benchmarks; RobotCar Seasons and Malaga Downtown Data Sets. Moreover, a new VL data set Malaga Streetview Challenge is generated by collecting Google Streetview images on the same path of Malaga Downtown in order to observe impact of environmental and wide-baseline changes. This newly generated test set will be useful for researchers studying in this field. After all, the proposed semantically boosted Hybrid-VL_DL method is able to increase localization performance on both RobotCar Seasons and Malaga Streetview Challenge data sets by 11.6% and 4.5% Top-1 recall@5, and 4% and 5.4% recall@1 scores respectively. Additionally, reliability of our hyper-parameter (W) based Hybrid-VL_DL approach is supported by very close performance of the Hybrid-VL_FL method.

İnsansız araçlar için yer tespiti ve İmge Tabanlı Konumlandırma (İTK) Bilgisayarlı Görü alanındaki popülerliğini koruyan araştırma konularının başında yer almaktadır. Bu çalışmada, konuma duyarlı anlamsal bilgiye dayalı olarak sürüş senaryosu içeren sokak düzeyindeki imgeler üzerinde çalışan Hibrid-İTK yaklaşımı önerilmiştir. Bu amaç dorğrultusunda ilk aşama olarak, Evrişimli Sinir Ağı (ESA) üzerinde konumlandırma hedefi ile eğitilen Anlamsal Betimleyici (AB) elde edilmiştir. Ardından, iki boyutlu (2B-2B) imge eşleştirmesine dayalı olan konumlandırma yöntemimiz yaklaşık en yakın komşu arama (YEKA) yaklaşımı ile gerçeklenmiştir. AB-İTK olarak isimlendirilen bu yöntemin konumlandırmadaki başarısı, literatürde sıklıkla kullanılan Yerel Betimleyici (YB) tabanlı İTK yöntemi (YB-İTK) ile kıyaslanmıştır. Buna ek olarak, bahsi geçen bu YB-İTK ve AB-İTK yöntemleri birbirlerinin eksikliklerini tamamlayacak şekilde son işlem evresinde bir araya getirilmiş ve önerilen bu yeni yöntem karar-düzeyinde Hibrid-İTK (Hibrid-İTK_KD ) yöntemi olarak adlandırılmıştır. Ayrıca, otomatik olarak en iyi şekilde ayarlanmış hibrid bir sonuç üretmek için öznitelik-düzeyinde Hibrid-İTK (Hibrid-İTK_OD ) yöntemi önerilmiştir. Önerilen bu İTK yöntemlerinin başarısı, literaturde kriter olarak kabul edilen RobotCar Seasons ve Malaga Downtown veri setleri üzerinde sınanmıştır. Ayrıca Malaga Streetview Challenge veri seti, çeveresel ve referans noktasındaki değişimlerin etkisini gözlemleyebilmek adına özel olarak bu çalışma için, Malaga Downtown ile aynı güzergahdaki Google Streetview imgelerinin bir araya getirilimesi ile oluşturulmuştur. Yeni oluşturulan veri seti bu alanda çalışan araştırmacılar için yararlı olacaktır. Önerilen Hibrid-İTK_KD yöntemi ile RobotCar Seasons ve Malaga Streetview Challenge veri setleri üzerindeki konumlandırma başarısı, sırası ile 1.6% - 4.5% Top-1 recall@5, ve 4% - 5.4% recall@1 oranlarında artırılmıştır. Ek olarak, önerilmiş olan hiper-parametre (W) tabanlı Hibrid-İTK_KD yaklaşımının güvenilirliği hemen hemen aynı deneysel sonuçların Hibrid-İTK_OD tarafından elde edilmesi ile desteklenmiştir.