Τα τελευταία χρόνια, τα πολυτροπικά μεγάλα γλωσσικά μοντέλα (Multimodal Large Language Models – MLLMs) έχουν εξελιχθεί σε εντυπωσιακά εργαλεία που μπορούν να χειριστούν και να παραγάγουν ποικιλία δεδομένων – κυρίως κείμενα, εικόνες και βίντεο.
Μοντέλα όπως το GPT-4V της OpenAI, το DeepSeek-R1 και το Google Gemini χρησιμοποιούνται ευρέως για την παραγωγή περιεχομένου σε κοινωνικά δίκτυα, δημοσιογραφικά άρθρα, αλλά και για πιο εξειδικευμένες χρήσεις.
Όμως, καθώς η ικανότητα των μοντέλων να εκτελούν πολύπλοκους συλλογισμούς έχει αυξηθεί, αναδύεται ένα σοβαρό πρόβλημα: η εμφάνιση παραισθήσεων (hallucinations). Οι παραισθήσεις αυτές συμβαίνουν όταν το μοντέλο περιγράφει στοιχεία που δεν υπάρχουν πραγματικά σε μια εικόνα, βασιζόμενο περισσότερο σε γλωσσικές προκαταλήψεις και λιγότερο στο οπτικό ερέθισμα.
Παραισθήσεις και νέα μέτρα αξιολόγησης από κορυφαία πανεπιστήμια
Ερευνητές από τα UC Santa Cruz, Stanford και UC Santa Barbara ανέπτυξαν μια νέα μετρική αξιολόγησης (RH-AUC) και ένα διαγνωστικό benchmark (RH-Bench) για να κατανοήσουν βαθύτερα αυτή τη συμπεριφορά. Η εργασία τους, που δημοσιεύθηκε στην πλατφόρμα arXiv, επικεντρώνεται στην αποσύνδεση μεταξύ συλλογιστικής ικανότητας και οπτικής γείωσης των μοντέλων.
«Ο αυξημένος υπολογιστικός φόρτος κατά την ώρα του τεστ επιτρέπει στα πολυτροπικά μοντέλα να παράγουν εκτενείς αλυσίδες συλλογισμών, με αποτέλεσμα ισχυρές επιδόσεις σε μαθηματικά και λογικά προβλήματα», αναφέρουν οι ερευνητές.
«Ωστόσο, όσο μακραίνει η αλυσίδα σκέψης, τόσο αυξάνονται οι παραισθήσεις – το μοντέλο απομακρύνεται από την εικόνα και καταφεύγει σε γλωσσικά πρότυπα».
Τι είναι οι RH-AUC και RH-Bench
Η RH-AUC είναι μια μετρική που ποσοτικοποιεί πώς επηρεάζεται η ακρίβεια της αντίληψης του μοντέλου καθώς αυξάνεται το βάθος του συλλογισμού. Αντίστοιχα, η RH-Bench είναι μια σειρά δοκιμών που καλύπτουν πληθώρα πολυτροπικών εργασιών και αποκαλύπτουν τον συμβιβασμό ανάμεσα στην ικανότητα συλλογισμού και τον κίνδυνο παραισθήσεων.
Αναλύοντας διαφορετικά μοντέλα μεγέθους 3 δισ. και 7 δισ. παραμέτρων, οι ερευνητές παρατήρησαν ότι τα μεγαλύτερα μοντέλα διατηρούν καλύτερη ισορροπία μεταξύ συλλογισμού και οπτικής ακρίβειας. Εντυπωσιακό εύρημα είναι ότι η ποιότητα και η θεματολογία των δεδομένων εκπαίδευσης επηρεάζει αυτή την ισορροπία περισσότερο από τον συνολικό όγκο δεδομένων.
Επιπτώσεις για το μέλλον της τεχνητής νοημοσύνης
Τα εργαλεία RH-AUC και RH-Bench προσφέρουν στους ερευνητές ένα νέο πλαίσιο για την αξιολόγηση των MLLMs, καθώς και πολύτιμες πληροφορίες για τον σχεδιασμό πιο αξιόπιστων και ασφαλών μοντέλων, τα οποία θα μπορούν να διατηρούν την οπτική συνέπεια ενώ εκτελούν σύνθετους λογικούς συλλογισμούς.
«Η ανάλυσή μας αποκαλύπτει ότι τα μεγαλύτερα μοντέλα επιτυγχάνουν συνήθως καλύτερη ισορροπία μεταξύ αντίληψης και λογικής και ότι αυτή η ισορροπία επηρεάζεται περισσότερο από το είδος και τη θεματολογία των δεδομένων εκπαίδευσης παρά από τον όγκο τους», τονίζουν οι Liu, Xu και οι συνεργάτες τους.
Καθώς τα μοντέλα τεχνητής νοημοσύνης γίνονται όλο και πιο ικανά, είναι κρίσιμο να μετρούνται με εξειδικευμένα εργαλεία αξιολόγησης όχι μόνο οι επιδόσεις τους στη λογική σκέψη αλλά και η πιστότητα προς τα δεδομένα εισόδου – ιδιαίτερα όταν συνδυάζουν λόγο, εικόνα και βίντεο.
Περισσότερες πληροφορίες: Chengzhi Liu et al, More Thinking, Less Seeing? Assessing Amplified Hallucination in Multimodal Reasoning Models, arXiv (2025). DOI: 10.48550/arxiv.2505.21523
