Classification and tracking of vehicles with hybrid camera systems

Abstract

The integrated usage of several vision systems is especially important for surveillance applications. In case of a hybrid system combining an omnidirectional and a PTZ (pan-tilt-zoom) camera, the omnidirectional camera provides 360 horizontal FOV (Field of View) with a low resolution per viewing angle whereas the PTZ camera provides high resolution at a certain direction. In this thesis work, we introduce a hybrid system combining the powerful aspects of both camera types and aims a wide angle high resolution surveillance for traffic scenes. The hybrid system provides real-time object classification and high resolution tracking. The omnidirectional camera detects the moving objects and then it performs an initial classification by using shape-based features. Concurrently, the PTZ camera classifies the objects in detail by using HOG (Histogram of Oriented Gradients)+SVM (Support Vector Machine) pair. The object types we worked on are pedestrian, motorcycle, car and van. In the experiments, we compared the classification accuracy of omnidirectional camera, PTZ camera and hybrid system. Aiming high resolution tracking, the PTZ camera tracks the objects belonging to the user defined class and detected by using the omnidirectional camera.

Görme sistemlerinin entegre kullanımı, özellikle gözetleme uygulamaları için önemlidir. Bir tüm yönlü kamera, bir de PTZ (Pan-Tilt-Zum) kamerayı birleştiren bir hibrit sistemi ele alırsak, tüm yönlü kamera yatay eksende 360 düşük çözünürlüklü görüş açısı sağlarken PTZ kamera belirli yönde yüksek çözünürlük sağlar. Bu tez çalışmasında, her iki kamera türünün güçlü yönlerini birleştiren ve geniş açılı yüksek çözünürlüklü gözetleme amaçlayan bir hibrit sistem tanıttık. Bu hibrit kamera sistemi, gerçek zamanlı sınıflandırma ve takip sağlıyor. Hibrit sistem sınıflandırması için, tüm yönlü kamera hareketli nesneleri tespit eder, şekil tabanlı öznitelikler kullanarak ilk kademe sınıflandırma yapar. Eş zamanda, PTZ kamera HOG (Yönlü Gradyan Histogramı)+SVM (Destek Yöney Makinesi) çifti ile ikinci kez sınıflandırma yapar. Çalıştığımız nesne türleri yaya, motosiklet, araba ve dolmuş. Tüm yönlü kamera, PTZ kamera ve hibrit sistem ile yapılan sınıflandırmaların başarılarını karşılaştırdık. Yüksek çözünürlüklü takip modülünde ise, PTZ kamera, kullanıcı tanımlı sınıfa ait ve tüm yönlü kamera tarafından tespit edilen nesneyi sürekli çerçeve içerisinde tutar.