Planar geometry estimation with deep learning

Abstract

Understanding the geometric structure of any scene is one of the oldest problems in Computer Vision. Most scenes include planar regions that provide information about the geometric structure and their automatic detection and segmentation plays an important role in many computer vision applications. In recent years, convolutional neural network architectures have been introduced for piece-wise planar segmentation. They outperform the traditional approaches that generate plane candidates with 3D segmentation methods from the explicitly reconstructed 3D point cloud. However, most of the convolutional neural network architectures are not designed and trained for outdoor scenes, because they require manual annotation, which is a time-consuming task that results in a lack of training data. In this thesis,we propose and develop a deep learning based framework for piece-wise plane detection and segmentation of outdoor scenes without requiring manually annotated training data. We exploit a network trained on imagery with annotated targets and an automatically reconstructed point cloud from either Structure from Motion-Multi View Stereo pipeline or monocular depth estimation network to estimate the training ground truth on the outdoor images in an iterative energy minimization framework. We show that the resulting ground truth estimate of various sets of images in the outdoor domain is good enough to improve network weights of different architectures trained on ground truth annotated images. Moreover, we demonstrate that this transfer learning scheme can be repeated multiple times iteratively to further improve the accuracy of plane detection and segmentation on monocular images of outdoor scenes.

Sahnelerin geometrik yapılarının anlaşılması bilgisayarlı görünün en eski problemlerinden biridir. Çoğu sahne geometrik yapı hakkında bilgi sağlayan düzlemsel bölgeler içerir ve bunların otomatik olarak bölütlenmesi birçok bilgisayarlı görü uygulamasında önemli rol oynar. Son yıllarda, parçalı düzlemsel bölütleme yapan evrişimsel sinir ağı mimarileri önerilmiştir. Bunlar, düzlem adaylarını 3B bölütleme yöntemleriyle 3B nokta bulutu geriçatımından üreten geleneksel yaklaşımlardan üstün olmuştur. Fakat, çoğu evrişimsel sinir ağı mimarisi dış sahneler için tasarlanmamış ve eğitilmemiştir çünkü onların elle etiketlenmesinin zaman alıcı bir iş olması eğitim verisi eksikliğine neden olmaktadır. Bu tez çalışmasında, dış sahnelerin hiçbir şekilde elle etiketlemeye ihtiyaç olmadan parçalı düzlem tespiti ve bölütlenmesi için derin öğrenme tabanlı sistem önerilmiş ve geliştirilmiştir. Dış imgelerin mutlak doğru eğitim verilerinin tahminlenmesi için etiketlenmiş verilerle eğitilmiş bir sinir ağı mimarisinden ve Hareket ile Nesne Oluşturma-İkili Çoklu Görüntü ardışık düzeni veya tekli imgelerden derinlik tahminlemesi yapan sinir ağları mimarisinden kullanılarak elde edilen 3B otomatik nokta bulutu geriçatımından yararlanılmıştır. Dış bölgelere ait çeşitli imge kümeleri için elde edilen eğitim verilerinin mutlak doğru olarak etiketlenmiş imgelerle eğitilen farklı sinir ağı mimarilerinin ağırlıklarını yeterince iyi geliştirdiği gösterilmiştir. Buna ek olarak, bu transfer öğrenme düzeninin çoklu olarak tekrarlanabildiği ve dış sahnelerin tekli imgelerinde düzlem tespitinin ve bölütlenmesinin doğruluğunu geliştirdiği gösterilmiştir.