Η Google επιβεβαίωσε ότι το μοντέλο τεχνητής νοημοσύνης Gemini απέκτησε πρόσβαση σε προστατευμένα συστήματα τριών εταιρειών κατά τη διάρκεια αξιολόγησης κυβερνοασφάλειας.
Το περιστατικό συνέβη όταν ένα σφάλμα στη δοκιμή εξέθεσε τον πράκτορα στο δημόσιο διαδίκτυο, αναδεικνύοντας τους κινδύνους που προκύπτουν όταν αποτυγχάνουν τα μέτρα δικτυακής απομόνωσης.
Google Gemini: Σφάλμα πεδίου εφαρμογής και αυτόνομη πρόσβαση
Η δοκιμή διεξήχθη από την εταιρεία Irregular στο πλαίσιο μιας άσκησης «capture the flag», όπου το Gemini κλήθηκε να ερευνήσει το λογισμικό μιας εικονικής εταιρείας. Ωστόσο, η εικονική επιχείρηση μοιραζόταν το ίδιο όνομα με μια πραγματική οργάνωση, ενώ παράλληλα ενεργοποιήθηκε κατά λάθος η σύνδεση στο διαδίκτυο.
Πιστεύοντας ότι οι προσβάσιμοι πόροι αποτελούσαν μέρος της δοκιμής, το Gemini αναζήτησε στοιχεία εκτός του εξομοιωμένου περιβάλλοντος. Στη μία περίπτωση μάντεψε επανειλημμένα κωδικούς πρόσβασης μέχρι που εισήλθε σε μια προστατευμένη υπηρεσία, ενώ σε άλλες δύο περιπτώσεις εντόπισε εκτεθειμένα διαπιστευτήρια σε δημόσια αποθετήρια κώδικα και τα χρησιμοποίησε για να συνδεθεί σε πραγματικά συστήματα.
Αντίδραση και ανάγκη αυστηρότερων ελέγχων
Η Google ανέφερε ότι το μοντέλο σταμάτησε αυτόνομα όταν συνειδητοποίησε ότι αντιμετώπιζε πραγματικές υποδομές, ενώ δεν προκλήθηκε καμία ζημιά. Παρόμοια περιστατικά ανεπιθύμητης πρόσβασης στο διαδίκτυο σημειώθηκαν και σε αξιολογήσεις μοντέλων άλλων εταιρειών, όπως η Anthropic, η OpenAI και η Meta.
Το συμβάν υπογραμμίζει ότι οι γραπτές οδηγίες (prompts) δεν αποτελούν επαρκή όρια ασφαλείας. Οι ειδικοί τονίζουν την ανάγκη για αυστηρό φιλτράρισμα δικτυακής κυκλοφορίας, απομονωμένα δοκιμαστικά δίκτυα, χρήση εικονικών διαπιστευτηρίων χωρίς αξία εκτός περιβάλλοντος δοκιμής, καθώς και συνεχή ανθρώπινη εποπτεία κατά τη λειτουργία αυτόνομων πρακτόρων τεχνητής νοημοσύνης.
