Depth based calibration of multiple RGBD cameras for full 3D reconstruction

Abstract

Bu tezde, yalnızca derinlik görüntülerinin kullanıldığı, çoklu derinlik kamerası ile çalışabilen yeni bir derinlik kamerası kalibrasyon tekniği geliştirilmiştir. Çoğu çalışmada, düzlemsel bir dama tahtası desenli objenin IR görüntüleri kullanılarak derinlik kamerası kalibrasyonu yapılmış ve elde edilen parametreler derinlik kamerası parametreleri olarak kabul edilmiştir. Bu yaklaşım yıllardır geliştirilen geleneksel metotlarla kullanılabildiği için pratik bir çözüm olarak düşünülmektedir. Ancak bu yaklaşım derinlik değerlerinden faydalanmamakta ve 3D'de yanlış eşleşmelere neden olan kalibrasyon hatalarına yol açmaktadır. Bu hataları gidermek için yinelemeli en yakın nokta metodu gibi ek tamamlayıcı metotlar uygulansa dahi düşük hatalı eşleşme sonuçları elde edilememektedir. Çözüm olarak 3 boyutlu, 4 eş-yarıçaplı küresi olan dört üçgen yüzlü yapıda bir kalibrasyon objesi tasarlanmış ve kürelerin merkezlerini derinlik görüntüsü üzerinden tespit edebilmek için elips temelli yeni bir metot geliştirilmiştir. Küre merkezleri ve derinlik hatası giderilen derinlik değerleri kullanılarak projeksiyon matris metodu orijinalinden farklı olarak 6 yerine 4 eşleşme noktası ihtiyacı olacak şekilde iyileştirilmiştir. Derinlik değerlerini geleneksel ışın demeti düzenleme (bundle adjustment-BA) metoduna dahil eden ve yeniden-projeksiyon hatasını 3B'de hesaplayan iki yeni parametre kestirme metodu dört derinlik kamerasının içsel ve dışsal parametrelerini bir arada kestirebilmek için geliştirilmiştir. Dama tahtası desenli objenin IR görüntülerinin kullanıldığı kalibrasyona kıyasla, önerilen metotlar ile elde edilen hata ortalamaları önemli ölçüde düşürülmüştür. Bu tezde geliştirilen metotlar derinlik ölçümü için kullanılan teknolojiden bağımsız oldukları için tüm derinlik kameralarında çalışabilmektedirler.

In this dissertation, new depth camera calibration techniques were developed using only depth images and they are adopted to the case of multiple depth cameras. In most studies, depth camera calibration was performed using infrared images of checkerboard and obtained parameters were accepted as depth camera parameters. Since this approach utilizes readily available and commonly used calibration methods, it can be considered as a practical solution. However it does not take advantage of the depth measurements and leads to calibration errors that cause misregistration in 3D. Even if additional complementary methods such as iterative closest point method are applied, misregistration artifacts cannot be eliminated. As a solution, a 3-dimensional tetrahedron calibration object with 4 equiradius spheres was designed and an ellipse-based method was developed to detect the sphere centers on the depth image plane. By using the sphere centers and the depth values with the depth error removed, the well-known projection matrix method has been modified to require 4 matching points instead of 6 as in the original method, which works efficiently with the proposed setup. To estimate the parameters of four depth cameras together, two new parameter estimation methods have been developed that include depth values in the traditional bundle adjustment (BA) and calculate the reprojection error in 3D. Compared to the calibration using the IR images of the checkerboard, the average error resulting from proposed methods was reduced significantly. Since the developed methods are independent of the technology of depth cameras, they can work for all depth cameras.