Classification of maneuvers of vehicles in front for driver assistance systems

Abstract

Predicting vehicle maneuvers is a critical task for developing autonomous driving. These maneuvers have been identified as leading causes of fatal accidents, underscoring the need for robust and reliable detection systems. This thesis addresses this critical issue by developing and evaluating novel methodologies for classifying maneuvers, especially lane change and cut-in maneuvers in front of the vehicle. Two specific methods are proposed in this thesis work, and their effectiveness is evaluated on two datasets: the Prevention Lane Change Prediction dataset and the BDD-100K Cut-in/Lane-pass Classification Subset. The first method is a model that utilizes features extracted from the bounding boxes of the target vehicle, feeding them into a single-layer LSTM network for cut-in/lane-pass classification. The second method involves training a 3-dimensional residual neural network in a self-supervised manner using contrastive video representation learning. For the self-supervised training phase, a novel scene representation is proposed to highlight vehicle motions. Afterward, the same model is fine-tuned using labeled video data. Lastly, an ensemble learning approach is introduced, which combines the predictive capabilities of the proposed LSTM-based and self-supervised contrastive video representation learning models, leveraging the strengths of both methods to enhance the overall maneuver classification performance. The proposed methods made significant contributions to the field. The LSTM-based model achieved high classification accuracies compared to other studies in the literature. The self-supervised video representation learning model represents the first application of contrastive learning in maneuver classification. The ensemble learning approach has shown a significant improvement in the performance of the maneuver detection system.

Araç manevralarının otonom sürüşün geliştirilmesi için kritik bir görevdir. Bu manevralar ölümcül kazaların önde gelen nedenlerindendir, bu yüksek başarılı ve güvenilir tespit sistemlerine duyulan ihtiyacın altını çizmektedir. Tez kapsamında araç içi kamera verilerini kullanarak aracın önünde meydana gelen şerit değiştirme ve ön kesme manevralarını sınıflandırmak için yeni metodolojiler önerilmiştir ve bunların etkinliği iki veri kümesi üzerinde değerlendirilmiştir: "Prevention" Şerit Değiştirme Tahmini veri seti ve "BDD-100K" Ön Kesme / Şerit Paralel Geçme Sınıflandırma veri seti. İlk yöntem olan LSTM tabanlı yöntem, hedef aracın sınırlayıcı kutularından çıkarılan özellikleri kullanan ve bunları ön kesme/şerit paralel geçme sınıflandırması için tek katmanlı bir LSTM ağına besleyen bir modeldir. İkinci yöntem, araç manevralarını içeren video görüntüleri üzerinde "contrastive video representation learning (CVRL)" kullanarak 3-boyutlu bir artık sinir ağını kendi kendine denetimli bir şekilde eğitmeyi içerir. Bu yöntem için, araç hareketlerini vurgulamak üzere yeni bir sahne temsili önerilmiştir. Ardından, etiketli video verileri kullanılarak aynı modele ince ayar yapılır. Bu yöntem, şerit değişikliği algılama ve ön kesme manevrası algılama görevleri üzerinde değerlendirilmiştir. Son olarak, önerilen LSTM ve CVRL modellerinin tahmin yeteneklerini birleştiren ve şerit değişikliği manevra algılama sisteminin genel performansını artırmak için her iki yöntemin güçlü yönlerinden yararlanan bir topluluk öğrenme yaklaşımı tanıtılmıştır. LSTM tabanlı model, basitliğine rağmen literatürdeki diğer çalışmalara kıyasla yüksek sınıflandırma doğrulukları elde etmiştir. Kendi kendine denetimli video temsili öğrenme modeli, manevra sınıflandırmasında "contrastive" öğrenmenin ilk uygulamasını temsil etmektedir. LSTM tabanlı ve CVRL modellerini entegre eden topluluk öğrenme yaklaşımı, manevra tespit sisteminin performansında önemli bir gelişme göstererek çoklu öğrenme algoritmalarından yararlanma potansiyelini ortaya koymuştur.