Design of an offline Ottoman character recognition system for translating printed documents to modern Turkish

Abstract

Optical character recognition (OCR) is one of the most studied topics for many years. As a result of these studies, systems developed especially for the Latin alphabet have become more accurate even for handwritten texts. However, there are very limited studies on Ottoman OCR systems in the literature and it is still a subject of interest due to the complexity of the language in grammar, writing and spelling. In this thesis, it is aimed to design an offline OCR system that recognizes Ottoman characters using deep convolutional neural networks. The proposed work consists of several steps such as image processing, image digitization and character segmentation, adaptation of inputs to the network, training of the network, recognition and evaluation of results. Firstly, a character dataset was created by segmenting text images of different lengths that was selected among scanned samples of various Ottoman literature from the digital database of Turkish National Library. Two convolutional neural networks of different complexity were trained with the created character dataset and the relationship between recognition rates and network complexity was evaluated. Secondly, using the Histogram of Oriented Gradients and Principal Component Analysis, the features of the created dataset were extracted and the Ottoman characters were classified with k-Nearest Neighbor Algorithm and Support Vector Machines which are widely used classification methods in the literature. The performed analyzes have shown that both networks provide acceptable recognition rates compared to the conventional classifiers, however complex deep neural network showed better accuracy and lower loss.

Optik karakter tanıma yıllardır üzerinde en çok çalışma yapılan konulardan bir tanesidir. Bu çalışmaların sonucunda, özellikle Latin alfabesi için geliştirilen sistemler el yazısı metinler için bile iyi tanıma sonuçları gösterir hale gelmişlerdir. Ancak literatürdeki Osmanlıca optik karakter tanıma sistemleri için yapılan çalışmalar oldukça sınırlıdır. Gramer, yazma ve heceleme gibi konulardaki karmaşıklığından dolayı Osmanlıca, optik karakter tanıma alanında ilgi çekiciliğini hala korumaktadır. Bu çalışmada, derin evrişimsel sinir ağları kullanılarak Osmanlıca için çevrimdışı karakter tanıma sistemi tasarlanması amaçlanmıştır. Yapılan çalışma, görüntü işleme, taratılan metinlerin sayısallaştırılarak karakter parçalarına ayrılması, Osmanlıca karakter veri setinin oluşturularak sinir ağına uyarlanması, sinir ağının eğitilmesi, karakterlerin tanınması ve karakter tanıma oranlarının değerlendirilmesi adımlarından oluşmaktadır. Bu amaçla ilk olarak, Milli Kütüphane’nin sayısal veritabanından seçilmiş çeşitli Osmanlıca eserlerden alınan farklı uzunluktaki taranmış metin görüntüleri bölütlenerek karakter veri seti oluşturulmuştur. Farklı karmaşıklıktaki iki evrişimsel sinir ağı, oluşturulan karakter seti ile eğitilmiş ve tanıma oranları ile ağ karmaşıklığı ilişkisi değerlendirilmiştir. Daha sonra Yönelimli Gradyanların Histogramı ve Temel Bileşen Analizi kullanılarak oluşturulan veri setinin öznitelikleri çıkarılmış ve Osmanlıca karakterler bu öznitelikler kullanılarak literatürde yaygın olarak uygulanan sınıflandırma yöntemlerinden, k-En Yakın Komşu Algoritması ve Destek Vektör Makineleri ile sınıflandırılmıştır. Yapılan performans analizleri, her iki ağın da geleneksel sınıflandırıcılara kıyasla daha iyi tanıma oranlarına sahip olduğunu göstermiş, bununla beraber karmaşık derin evrişimsel sinir ağının en yüksek tanıma oranına sahip olduğunu ortaya koymuştur.