Please use this identifier to cite or link to this item: https://hdl.handle.net/11147/13922
Full metadata record
DC FieldValueLanguage
dc.contributor.advisorTekir, Selmatr
dc.contributor.authorAkdeniz, Eyüp Kaantr
dc.date.accessioned2023-11-02T08:13:50Z-
dc.date.available2023-11-02T08:13:50Z-
dc.date.issued2023-07en_US
dc.identifier.urihttps://hdl.handle.net/11147/13922-
dc.descriptionThesis (Master)--İzmir Institute of Technology, Computer Engineering, Izmir, 2023en_US
dc.descriptionIncludes bibliographical references (leaves. 47-56)en_US
dc.descriptionText in English; Abstract: Turkish and Englishen_US
dc.description.abstractThe growth in machine learning research has not been accompanied by a corresponding improvement in the reproducibility of the results. This thesis presents a novel, fully-automated end-to-end system that evaluates the reproducibility of machine learning studies based on the content of the associated GitHub project's Readme file. This evaluation relies on a readme template derived from an analysis of popular repositories. The template suggests a structure that promotes reproducibility. Our system generates a reproducibility score for each Readme file assessed, and it employs two distinct models, one based on section classification and the other on hierarchical transformers. The experimental outcomes indicate that the system based on section similarity outperforms the hierarchical transformer model. Furthermore, it has a superior edge concerning explainability, as it allows for a direct correlation of the scores with the respective sections of the Readme files. The proposed framework provides an important tool for improving the quality of code sharing and ultimately helps to increase reproducibility in machine learning research.en_US
dc.description.abstractMakine öğrenimi araştırmalarındaki büyümeye, sonuçların tekrar üretilebilirliğinde buna karşılık gelen bir gelişme eşlik etmemiştir. Bu tez, ilişkili GitHub projesinin Readme dosyasının içeriğine dayalı olarak makine öğrenmesi çalışmalarının yeniden üretilebilirliğini değerlendiren yeni, tam otomatik bir uçtan uca sistem sunmaktadır. Bu değerlendirme, popüler depoların analizinden türetilen bir readme şablonuna dayanmaktadır. Şablon, yeniden üretilebilirliği teşvik eden bir yapıyı önerir. Sistemimiz, değerlendirilen her Readme dosyası için bir yeniden üretilebilirlik puanı üretir ve biri bölüm sınıflandırmasına, diğeri hiyerarşik dönüştürücülere dayanan iki farklı model kullanır. Deneysel sonuçlar, bölüm benzerliğine dayalı sistemin hiyerarşik dönüştürücü modelinden daha iyi performans gösterdiğini göstermektedir. Ayrıca, skorların Readme dökümanlarının ilgili bölümleriyle doğrudan ilişkilendirilebilmesi açısından üstün bir açıklanabilirliğe sahiptir. Önerilen çerçeve, kod paylaşımının kalitesini artırmak için önemli bir araç sunmakta ve sonuçta makine öğrenimi araştırmalarında yeniden üretilebilirliğin arttırılmasına yardımcı olmaktadır.tr
dc.format.extentx, 59 leavesen_US
dc.language.isoenen_US
dc.publisher01. Izmir Institute of Technologyen_US
dc.rightsinfo:eu-repo/semantics/openAccessen_US
dc.subjectNatural language processingen_US
dc.subjectMachine learningen_US
dc.subjectSource codesen_US
dc.subjectCode repositoriesen_US
dc.titleReproducibility assessment of research code repositoriesen_US
dc.title.alternativeAraştırma kod depolarının yeniden üretilebilirlik değerlendirmesitr
dc.typeMaster Thesisen_US
dc.authorid0000-0002-5895-0821en_US
dc.departmentThesis (Master)--İzmir Institute of Technology, Computer Engineeringen_US
dc.relation.publicationcategoryTeztr
dc.identifier.yoktezid822886en_US
item.cerifentitytypePublications-
item.fulltextWith Fulltext-
item.grantfulltextopen-
item.openairecristypehttp://purl.org/coar/resource_type/c_18cf-
item.languageiso639-1en-
item.openairetypeMaster Thesis-
Appears in Collections:Master Degree / Yüksek Lisans Tezleri
Files in This Item:
File Description SizeFormat 
10562893.pdfMaster Thesis960.56 kBAdobe PDFView/Open
Show simple item record



CORE Recommender

Page view(s)

46
checked on Jun 10, 2024

Download(s)

52
checked on Jun 10, 2024

Google ScholarTM

Check





Items in GCRIS Repository are protected by copyright, with all rights reserved, unless otherwise indicated.