H διερευνηση, κατανοηση και θεωρητικη αποτιμηση της αρχιτεκτονικης τω Transformers, καθως και της εξελιξης του απο το αρχικο μοντελο “Attention is all you need “ εως τις συγχρονες παραλλαγες που χρησιμοποιουνται σε προηγουμενα συστηματα Τεχνητης Νοημοσυνης
| dc.contributor.author | Πογιατζεας, Μάριος | |
| dc.date.accessioned | 2026-07-13T13:18:21Z | |
| dc.date.issued | 2026-06 | |
| dc.description | In recent years, Artificial Intelligence, and particularly Natural Language Processing (NLP), has experienced exponential growth, radically transforming human-machine interaction. Historically, sequence modeling relied heavily on architectures such as Recurrent Neural Networks (RNNs) and Long Short-Term Memory (LSTM) networks. Despite their proven effectiveness, these models inherently limited massive parallelization capabilities due to their sequential data processing nature and consistently struggled with managing long-range dependencies within texts. This bachelor thesis focuses on the investigation, comprehensive understanding, and theoretical evaluation of the Transformer architecture, which was introduced in 2017 through the seminal paper "Attention Is All You Need". This architecture completely replaced recurrence with the Self-Attention mechanism, enabling the simultaneous and parallel processing of all elements within a sequence. To empirically verify the theoretical framework, a practical comparative study was conducted. Two Deep Learning models—a Bidirectional LSTM (Bi-LSTM) and a Transformer Encoder—were implemented and trained from scratch on the IMDB dataset for the task of binary sentiment analysis. The experimental results definitively confirmed the computational superiority of the Transformer, which demonstrated an approximately 30% faster training time per epoch. However, the experiment also highlighted the Transformer's strong tendency to overfit on small datasets due to the lack of inductive bias, thereby proving its strictly "data-hungry" nature. This specific limitation formed the foundational rationale for the transition to the modern machine learning paradigm of "Pre-training and Fine-Tuning". The thesis concludes by analyzing the evolution of Transformers into Large Language Models (LLMs) such as BERT (encoder-only) and GPT (decoder-only architectures), as well as the successful extension of this architecture into computer vision via Vision Transformers (ViT), ultimately demonstrating that Transformers now constitute the universal foundation of modern Artificial Intelligence. | |
| dc.description.abstract | Τα τελευταία χρόνια, η Τεχνητή Νοημοσύνη και ειδικότερα η Επεξεργασία Φυσικής Γλώσσας (NLP) έχουν γνωρίσει αλματώδη ανάπτυξη, μετασχηματίζοντας ριζικά τον τρόπο αλληλεπίδρασης ανθρώπου και μηχανής. Ιστορικά, η μοντελοποίηση ακολουθιών βασίζεται σε αρχιτεκτονικές όπως τα Αναδρομικά Νευρωνικά Δίκτυα (RNNs) και τα δίκτυα Μακροπρόθεσμης Βραχυπρόθεσμης Μνήμης (LSTMs). Παρά την αποδεδειγμένη αποτελεσματικότητά τους, τα μοντέλα αυτά περιόριζαν τις δυνατότητες μαζικού παραλληλισμού λόγω της σειριακής επεξεργασίας των δεδομένων και αντιμετώπιζαν εγγενείς δυσκολίες στη διαχείριση εξαρτήσεων μεγάλης εμβέλειας. Η παρούσα πτυχιακή εργασία επικεντρώνεται στη διερεύνηση, την εν τω βάθει κατανόηση και τη θεωρητική αποτίμηση της αρχιτεκτονικής των Transformers, η οποία εισήχθη το 2017 μέσω της ρηξικέλευθης δημοσίευσης «Attention Is All You Need». Το μοντέλο αυτό αντικατέστησε πλήρως την αναδρομή με τον μηχανισμό Αυτο-Προσοχής (Self-Attention), επιτρέποντας την ταυτόχρονη, παράλληλη επεξεργασία όλων των στοιχείων μιας ακολουθίας κειμένου. Για την εμπειρική επαλήθευση του θεωρητικού πλαισίου, διεξήχθη μια πρακτική συγκριτική μελέτη. Υλοποιήθηκαν και εκπαιδεύτηκαν από το μηδέν (from scratch) δύο μοντέλα Βαθιάς Μάθησης —ένα αμφίδρομο LSTM (Bi-LSTM) και ένας Κωδικοποιητής Transformer— στο σύνολο δεδομένων IMDB για το πρόβλημα της ανάλυσης συναισθήματος (sentiment analysis). Τα πειραματικά αποτελέσματα επιβεβαίωσαν την υπολογιστική υπεροχή του Transformer, ο οποίος αποδείχθηκε κατά περίπου 30% ταχύτερος στην εκπαίδευση ανά εποχή. Ωστόσο, το πείραμα ανέδειξε και την αυξημένη τάση του Transformer για υπερεκπαίδευση (overfitting) σε μικρά σύνολα δεδομένων λόγω της απουσίας επαγωγικής προκατάληψης (inductive bias), αποδεικνύοντας την ανάγκη της συγκεκριμένης αρχιτεκτονικής για κολοσσιαίους όγκους δεδομένων. Αυτός ο περιορισμός αποτέλεσε τη βάση για τη μετάβαση στο σύγχρονο παράδειγμα της «Προ-εκπαίδευσης και Μικρορύθμισης» (Pre-training and Fine-Tuning). Η εργασία καταλήγει αναλύοντας την ιστορική εξέλιξη των Transformers σε Μεγάλα Γλωσσικά Μοντέλα (LLMs) όπως το BERT (μόνο κωδικοποιητής) και το GPT (μόνο αποκωδικοποιητής), καθώς και την επιτυχή επέκταση της αρχιτεκτονικής στην επεξεργασία εικόνας μέσω των Vision Transformers (ViT), καταδεικνύοντας ότι αποτελούν πλέον το καθολικό θεμέλιο της σύγχρονης Τεχνητής Νοημοσύνης. | |
| dc.identifier.uri | https://hdl.handle.net/11728/13578 | |
| dc.language.iso | other | |
| dc.publisher | Πτυχίο στην Εφαρμοσμένη Πληροφορική, Σχολή Οικονομικών Επιστημών και Διοίκησης, Πανεπιστήμιο Νεάπολις Πάφος | |
| dc.rights | Απαγορεύεται η δημοσίευση ή αναπαραγωγή, ηλεκτρονική ή άλλη χωρίς τη γραπτή συγκατάθεση του δημιουργού και κάτοχου των πνευματικών δικαιωμάτων | el_GR |
| dc.subject | Τεχνητή Νοημοσύνη | |
| dc.subject | Επεξεργασία Φυσικής Γλώσσας (NLP) | |
| dc.subject | Transformers | |
| dc.subject | Μηχανισμός Αυτο-Προσοχής | |
| dc.subject | Βαθιά Μάθηση | |
| dc.subject | LSTM | |
| dc.subject | Ανάλυση Συναισθήματος | |
| dc.subject | Μεγάλα Γλωσσικά Μοντέλα (LLMs). | |
| dc.subject | Artificial Intelligence | |
| dc.subject | Natural Language Processing (NLP) | |
| dc.subject | Sentiment Analysis | |
| dc.subject | Large Language Models (LLMs) | |
| dc.subject | Self-Attention Mechanism | |
| dc.title | H διερευνηση, κατανοηση και θεωρητικη αποτιμηση της αρχιτεκτονικης τω Transformers, καθως και της εξελιξης του απο το αρχικο μοντελο “Attention is all you need “ εως τις συγχρονες παραλλαγες που χρησιμοποιουνται σε προηγουμενα συστηματα Τεχνητης Νοημοσυνης | |
| dc.title.alternative | Η παρούσα Διπλωματική Εργασία εκπονήθηκε στο πλαίσιο των σπουδών για την απόκτηση προπτυχιακού τίτλου στο Πανεπιστήμιο Νεάπολις | |
| dc.type | Thesis |
Files
License bundle
1 - 1 of 1
Loading...
- Name:
- license.txt
- Size:
- 1.71 KB
- Format:
- Item-specific license agreed upon to submission
- Description: