Accelerometer based handwritten character recognition using dynamic time warping

Abstract

Character and gesture recognition are one of the most studied topics in recent years. Character recognition studies are generally based on image processing. Only a few studies can be found about character recognition as gesture recognition. Gesture recognition is making the computers understand human body movements by using different kind of knowledge of the environment. This knowledge can be obtained by image or sensor-based efforts. Accelerometer is the most used sensor in gesture recognition, so in this study a 3-axis accelerometer is used. In this thesis, English alphabet‟s lowercase characters are used. A ring-like device which contains accelerometer in it is used. After obtaining the acceleration data of each character with 20 repetitions, we apply filtering, segmentation and normalization preprocessing steps for each signal. Since there are different accelerations and decelerations between each repetitions, Dynamic Time Warping (DTW) algorithm has been chosen to determine the similarities between signals. DTW is an algorithm that uses the amplitude values of the signals, so it is weak to amplitudes that shift in time domain. To overcome this shortcoming, the method called Derivative Dynamic Time Warping (DDTW) has been applied to the acceleration signals. DTW and DDTW methods have been compared and we have found that even we remove the normalization step; DDTW gives better results than DTW. By comparison of linear alignment and DTW, the results show that DTW gives better recognition rates for signals with different accelerations and decelerations. DTW also gives better result for the different length signals.

Karakter ve vücut hareketi tanıma son yıllarda en çok çalışılan alanlardan bir tanesidir. Literatürdeki karakter tanıma çalışmaları çoğunlukla görüntü işleme tabanlı olmakla birlikte bu tezde yapılan çalışmada sensör tabanlı bir yöntem uygulanmıştır. Literatürde vücut hareketlerinin tanımlanması yoluyla yapılan karakter tanıma çalışmalarının sayısı ise oldukça sınırlıdır. Vücut hareketi tanıma kısaca bilgisayarların insan hareketlerini anlaması ve bilgisayarların bu yolla kontrolüdür. Çevre değişkenlerini algılamak için kameralar veya çeşitli sensörler kullanılır. Vücut hareketlerini tanıma çalışmalarında ise sıklıkla ivme sensörleri kullanılmaktadır. Bu çalışmada İngiliz alfabesindeki küçük harfler veri tabanındaki sınıfları oluşturmuştur. Bu harflerin yazılma aşamasındaki dinamiklerini ölçmek amacıyla yüzük şeklinde bir yapıya ilişkilendirilen ivme sensörü kullanılmıştır. Harflerin ivme verileri her bir harf için 20 tekrarlı olarak elde edildikten sonra tüm sinyaller bir önişlem aşaması olarak filtreleme, bölütleme ve normalize etme işlemlerinden geçirilmiştir. Tek bir harf için bile tekrarlar arasında farklı ivmelenme değerleri oluştuğundan ve farklı uzunluklarda sinyaller elde edildiğinden sinyaller arasındaki benzerliği belirlemek amacıyla Dinamik Zaman Bükme (DTW) metodu sinyaller arasındaki benzememeyi bulmak için seçildi. Bu yöntem sinyallerin genlik değerlerini kullandığı için eşleşmesi gereken noktaların genlik değerlerindeki farklılıklarda yetersiz kalabiliyor. Bu sorunun çözümü için Türevli Dinamik Zaman Bükme metodu sinyallere uygulanmış buna ek olarak DTW‟yi hızlandırmak için sinyaller nicelenip ayrıca incelenmiştir. Deneysel çalışmalarda normalize işlemi olmadığı durumda bile DDTW, DTW‟e göre daha yüksek tanıma oranı vermiştir. Lineer eşleşme ile DTW‟nin karşılaştırılmasında da zamana göre farklı ivmelenmeye sahip sinyallerde lineer olmayan eşleşmenin daha bir tanıma oranı verdiği görülmüştür.