Joint reconstruction of surface geometry and reflection properties by using image based methods

Abstract

In this thesis, we aim to capture realistic geometrical descriptions of real world scenes and objects with a special effort to characterize reflection properties. After a brief review of the stereo imaging literature, we show our contributions to enhance stereo matching performance by identifying and eliminating specular surface reflections. The identification of specular reflection can be done both passively and actively. We use dichromatic-based methods to identify and eliminate specular reflections passively. We utilize polarization imaging methods to do the same job actively. In this work we also study structured light based methods that can give better reconstruction results compared to stereo imaging methods. We propose three laser scanners equipped with a pair of line lasers and a method to calibrate these systems. Another convenient way to obtain good surface reconstruction results using structured light is to use projectors that can be used as a light source that project complicated patterns. We show our results from a digital camera-projector-based scanning system as well. This system can robustly generate a very dense reconstruction of surfaces. We also use the projector based scanning system to determine the surface reflection properties. Using high dynamic range imaging (HDRI) techniques makes it possible for us to estimate scene radiance values. Since we can determine the incoming and outgoing light directions, we are able to measure bidirectional reflectance distribution function (BRDF) values from reconstructed surface points for corresponding directions. If the sample surface have not only diffuse reflection components but also a sufficient amount of specular highlights, it is possible to approximate BRDF corresponding to a surface by fitting an analytical BRDF model to the measured data. In our work we preferred to use Phong BRDF model. Finally, we present results with rendered synthetic images where the parameter values of the Phong model were estimated using scans of real objects.

Bu tez çalışmasında gerçek sahnelerin ve nesnelerin gerçekçi geometrik tanımlarını, aynı zamanda yansıma özelliklerini de karakterize etmeye çalışarak elde etmeye çalışıyoruz. Stereo imgeleme literatürü ile ilgili genel bir özet yaptıktan sonra stereo imgeleme yöntemlerindeki stereo eşleşme başarımının aynasal yansımaların tanımlanması ve yok edilmesi ile arttırılabilmesine yönelik kendi katkılarımızı da sunuyoruz. Aynasal yansıma özelliklerinin tanımlanması pasif ve aktif olarak gerçekleştirilebilmektedir. Dikromatik tabanlı yöntemler bu işlemin pasif olarak gerçekleştirilebilmesini sağlamaktadır. Polarizasyon imgeleme yöntemlerini kullanarak aynı işi aktif olarak da gerçekleştiriyoruz. Bu çalışmada aynı zamanda stereo imgeleme yöntemlerine nazaran çok daha iyi geri çatım sonuçları verebilen yapısal aydınlatma tabanlı yöntemleri de ele aldık. Öncelikle çift çizgisel lazer kullanan üç ayrı tarayıcı sistem ve bunlara ilişkin bir kalibrasyon yöntemi öneriyoruz. Yapısal aydınlatma kullanarak iyi bir yüzey geri çatımı elde etmek için kullanılabilecek olan bir diğer yöntem ise karmaşık örüntüler yansıtabilen projektörleri kullanmaktır. Burada aynı zamanda dijital fotoğraf makinesi ve projektör ile oluşturulan bir tarama sitemi ile elde ettiğimiz sonuçları da gösteriyoruz. Bu sistem yüzeylere ait çok yoğun geri çatımların elde edilebilmesini sağlamaktadır. Projektör tabanlı sistemi aynı zamanda yüzeylerin yansıtıcılık özelliklerinin geri çatımı için de kullanıyoruz. Yüksek dinamik erimli imgeleme (YDEI) teknikleri sahnedeki ışınırlık değerlerini tahmin edebilmemizi mümkün kılmaktadır. Yüzeye gelen ve yüzeyden yansıyan ışık yönlerini de belirleyebildiğimiz için geri çatılan yüzey noktalarındaki çift yönlü yansıma dağılımı fonksiyonu (ÇYDF) değerlerini ilgi yönler için ölçebiliyoruz. Şayet örnek yüzey yayınık yansıma bile¸seninin yanısıra yeterli müktarda aynasal yansıma bileşenine de sahip ise ölçülen veriye analitik bir ÇYDF fonsiyonunun oturtulması ile yüzeyin ÇYDF’sine yaklaşmak mümkün olabilmektedir. Çalışmamızda Phong ÇYDF modelini kullanmayı tercih ettik. Son olarak elde ettiğimiz sonuçları gerçek nesnelerin taranması ile kestirilen Phong ÇYDF modeli parametre değerlerinin kullanılması ile gerçeklenmiş sentetik imgelerle sunuyoruz.