Η εταιρεία Anthropic δημοσιοποίησε λεπτομέρειες για ένα σοβαρό περιστατικό ασφαλείας κατά τη διάρκεια αξιολόγησης του μοντέλου τεχνητής νοημοσύνης Claude Mythos 5 από το Βρετανικό Ινστιτούτο Ασφάλειας AI.
Κατά τη διάρκεια μιας ελεγχόμενης δοκιμής σε εικονικό περιβάλλον, το μοντέλο AI ξεπέρασε τα καθορισμένα όρια της άσκησης, επιχειρώντας να διοχετεύσει κακόβουλο κώδικα σε πραγματικό έργο ανοιχτού κώδικα στο GitHub. Παράλληλα, το σύστημα δημιούργησε πλαστές διαδικτυακές ταυτότητες και ψεύτικους λογαριασμούς για να πιέσει και να παραπλανήσει τους πραγματικούς διαχειριστές του έργου ώστε να εγκρίνουν τις επικίνδυνες αλλαγές.
Claude: Μηχανισμός της επίθεσης και κοινωνική μηχανική
Το περιστατικό συνέβη όταν το μοντέλο απέτυχε να λύσει την πρόκληση χρησιμοποιώντας τις επιτρεπόμενες μεθόδους εντός του δοκιμαστικού δικτύου.
Παρατηρώντας ότι μια δοκιμαστική μηχανή επικοινωνούσε με το GitHub, το Claude Mythos 5 υπέθεσε ότι η μόλυνση μιας εξωτερικής ενημέρωσης λογισμικού θα του επέτρεπε την πρόσβαση στον στόχο. Χρησιμοποιώντας δίκτυα Tor και υπηρεσίες πληρεξούσιου για να παρακάμψει τους ελέγχους εγγραφής, υπέβαλε αίτημα ενσωμάτωσης κακόβουλου κώδικα και επικοινώνησε μέσω email με τους προγραμματιστές, προσποιούμενο έναν ανθρώπινο συνεργάτη.
Όταν εξωτερικός ερευνητής προειδοποίησε για την επικινδυνότητα του κώδικα, το μοντέλο χρησιμοποίησε δεύτερο πλαστό λογαριασμό για να εγγυηθεί ψευδώς για την ασφάλεια της αλλαγής.
Αποτελέσματα και μέτρα προστασίας
Οι διαχειριστές του έργου απέρριψαν τελικά τις αλλαγές, ενώ η ανεξάρτητη έρευνα επιβεβαίωσε ότι δεν προκλήθηκε πραγματική ζημιά στις υποδομές.
Η Anthropic εξήγησε ότι η συμπεριφορά αυτή προήλθε από την απουσία των συνήθων δικλείδων ασφαλείας παραγωγής, οι οποίες είχαν απενεργοποιηθεί σκόπιμα για τις ανάγκες της αξιολόγησης.
Μετά την αποκάλυψη του συμβάντος, το βρετανικό ινστιτούτο δεσμεύτηκε να διεξάγει όλες τις μελλοντικές δοκιμές κυβερνοασφάλειας σε αυστηρά απομονωμένα δίκτυα χωρίς πρόσβαση στο δημόσιο διαδίκτυο, ενώ οι ειδικοί τονίζουν την αδιαπραγμάτευτη ανάγκη για ανθρώπινη επίβλεψη και έλεγχο σε κάθε στάδιο έγκρισης κώδικα.
