Hardware Acceleration With Fpga Based Electronic Boards for Machine Learning

Abstract

Son yıllardaki makine ög˘renmesi algoritmalarındaki gelis¸meler uç cihazlardaki kullanımını da arttırmıs¸tır (Merenda et al., 2020). Makine ög˘renimi algoritmaları genel- likle GPU tabanlı bilgisayarlarda çalıs¸tırılmaktadır, bu da yüksek enerji tüketimi (De- sislavov et al., 2021), yog˘un donanım kaynag˘ı gereksinimleri ve büyük fiziksel boyutları (Liu et al., 2022) nedeniyle uç cihazlar için uygun olmamaktadır. Bu tez, donanım hızlandırıcısı olarak FPGA platformlarında makine ög˘renmesi algoritmalarının, özellikle derin sinir ag˘larının uygulanması ve çıkarım yapılmasını aras¸tırarak, düs¸ük güç tüke- timi, verimli donanım kullanımı ve yüksek çıkarım performansı elde etmeyi hedefle- mektedir. Bu sistemlerin uç cihazlara adaptasyonu için esneklig˘i ve verimlilig˘i artırmak amacıyla, CNV ag˘ının (Umuroglu et al., 2017b) daha hafif bir varyasyonu olan CNV light gelis¸tirilmis¸. Bu ag˘, PyTorch tabanlı bir araç olan Brevitas (Pappalardo et al., 2019) ile nicemleme-farkında-eg˘itim yöntemi, kullanılarak 1, 2, 4 ve 8-bit seviyelerine nicemleme yapılmıs¸tır. CNV light ag˘ı CIFAR-10, SVHN, GTSRB ve MNIST veri setleri üzerinde Brevitas ile eg˘itilmis¸tir. Modeller FINN çerçevesi (Umuroglu et al., 2017a) kullanılarak FPGA'ya sentezlenmis¸tir. Modeller en fazla, en az ve sabit FPS seviye donanım kul- lanımına göre ayarlanmıs¸tır. Xilinx XC7Z020-1CLG400C FPGA, modelin metriklerini deg˘erlendirmek ve raporlamak için kullanılmıs¸tır. GTSRB veri setinde, ikili (W1A1) nicemleme yapılmıs¸ CNV light ag˘ı, tüm donanım kullanımları için %95.12 dog˘ruluk ve en fazla donanım kullanımında 12,191 FPS performansı ve 3.20W güç tüketimi elde etti, minimum donanım kullanımı için ise 6 FPS ve 1.62W güç tüketti. Sonuçlar, FPGA'ların uç cihazlarda makine ög˘renmesi modellerini verimli ve ölçeklenebilir platformlar olarak kullanılabileceg˘ini göstermektedir.

Developments in machine learning algorithms in recent years have also increased their use in end devices (Merenda et al., 2020). Machine learning algorithms are typically executed on GPU-based computers, which makes them unsuitable for edge devices due to their high power consumption (Desislavov et al., 2021), hardware resource requirements, and physical footprint (Liu et al., 2022). This thesis explores the deployment of machine learning algorithms on FPGA. This method aims to achieve low power consumption, efficient hardware utilization, and high inference performance. To improve efficiency, this research introduces the CNV light network, a simplified variation of the CNV network (Umuroglu et al., 2017b). The network was quantized to 1, 2, 4, and 8-bit levels using the Brevitas library (Pappalardo et al., 2019). The CNV light network was trained on the CIFAR-10, SVHN, GTSRB, and MNIST datasets with Brevitas. Custom parallelization configurations were utilized to explore maximum, minimum, and constant FPS hard- ware utilization levels using the FINN framework (Umuroglu et al., 2017a). The Xilinx XC7Z020-1CLG400C FPGA was employed for the evaluation and reporting of model metrics. Binary (W1A1) quantized CNV light network on the GTSRB dataset reached an accuracy of 95.12% for all hardware utilization cases and 12,191 FPS and 3.20W power consumption for maximum hardware utilization case, and 6 FPS and 1.62W power consumption for minimum hardware utilization case. The results show that FPGAs can be used as efficient and scalable platforms for deploying machine learning models.