Η Google προειδοποιεί τους χρήστες του Gmail να προσέχουν μια «νέα σειρά απειλών» που αξιοποιούν τις αναβαθμίσεις τεχνητής νοημοσύνης για να επιτεθούν στους χρήστες. Αυτό περιλαμβάνει «έμμεσες ενέσεις προτροπών», με «κακόβουλες εντολές [κρυμμένες] μέσα σε εξωτερικές πηγές δεδομένων», οι οποίες είναι ορατές στα εργαλεία AI αλλά όχι στον ίδιο τον χρήστη.
Μια νέα προειδοποίηση μόλις εκδόθηκε όπως αναφέρει ο Zak Doffman, δείχνοντας αυτή την απειλή σε δράση και θέτοντας τους χρήστες σε κίνδυνο καθώς οι ταχύτατες αναβαθμίσεις AI του Gmail της Google δημιουργούν νέες επιφάνειες επίθεσης. Όπως και σε άλλες εφαρμογές AI, είναι ανησυχητικά εύκολο να παραπλανηθεί το σύστημα και να χρησιμοποιηθεί για να χακάρει τους χρήστες.
Τρωτότητα στο Gmail μέσω έμμεσων εντολών
Η προειδοποίηση προήλθε μέσω του 0din, του δικτύου διερεύνησης zero-day της Mozilla, έπειτα από την επίδειξη μιας τρωτότητας έγχυσης προτροπών στο Google Gemini for Workspace, που επιτρέπει σε έναν εισβολέα να κρύψει κακόβουλες εντολές μέσα σε ένα email.
Αν ένας εισβολέας κρύψει προτροπές σε ένα email, όταν ο χρήστης πατήσει «συνοψίστε αυτό το email» χρησιμοποιώντας κάποια από τις πρόσφατες δυνατότητες AI του Gmail, «το Gemini υπακούει πιστά στην κρυμμένη προτροπή και προσθέτει μια προειδοποίηση phishing που φαίνεται να προέρχεται από την ίδια τη Google».
Η μέθοδος απόκρυψης και η επιμονή της απειλής
Στο παράδειγμα απόδειξης, η προτροπή ήταν κρυμμένη με χρήση γραμματοσειράς λευκού σε λευκό φόντο, κάτι που σημαίνει ότι οι χρήστες δεν θα τη δουν ποτέ. Όμως το Gemini τη βλέπει κανονικά.
«Παρόμοιες έμμεσες επιθέσεις προτροπών στο Gemini αναφέρθηκαν για πρώτη φορά το 2024 και η Google έχει ήδη δημοσιεύσει μέτρα μετριασμού, όμως η τεχνική παραμένει εφαρμόσιμη μέχρι και σήμερα».
Πλαστές προειδοποιήσεις ασφαλείας στο Gmail
Οι χρήστες του Gmail πρέπει να αγνοούν οποιαδήποτε προειδοποίηση της Google εμφανίζεται μέσα σε συνοψίσεις από AI – δεν είναι αυτός ο τρόπος με τον οποίο η Google εκδίδει προειδοποιήσεις ασφαλείας. Η ομάδα 0din συμβουλεύει τις ομάδες ασφάλειας να «εκπαιδεύσουν τους χρήστες ότι οι συνοψίσεις του Gemini είναι πληροφοριακές, όχι αυθεντικές ειδοποιήσεις ασφαλείας» και να «απομονώνουν αυτόματα email που περιέχουν στοιχεία ή με μηδενικό πλάτος ή λευκό κείμενο».
Η απειλή είναι διαρκής και ευρεία
Όπως έχει προειδοποιήσει ο συντάκτης στο παρελθόν, αυτή είναι μια πολύ ευρύτερη απειλή. «Οι προτροπές έγχυσης είναι τα νέα macros των email», λέει το 0din, και αυτή η πιο πρόσφατη απόδειξη «δείχνει ότι οι αξιόπιστες συνοψίσεις AI μπορούν να παραβιαστούν με μία μόνο αόρατη ετικέτα».
Το 0din τονίζει ότι «μέχρι να αποκτήσουν τα μεγάλα γλωσσικά μοντέλα (LLMs) στιβαρή απομόνωση συμφραζομένων, κάθε κομμάτι κειμένου τρίτων που καταναλώνει το μοντέλο σας είναι εκτελέσιμος κώδικας», κάτι που σημαίνει πως χρειάζονται πολύ πιο αυστηροί έλεγχοι.
Τι πρέπει να προσέχουν οι χρήστες του Gmail
Είτε πρόκειται για κατάχρηση των εργαλείων AI που απευθύνονται στους χρήστες είτε για παραβίαση των ίδιων των μοντέλων AI ώστε να σχεδιάζουν ή ακόμη και να εκτελούν επιθέσεις, είναι σαφές ότι το τοπίο έχει αλλάξει αμετάκλητα.
Αν δείτε οποιαδήποτε προειδοποίηση ασφαλείας σε συνοπτικό κείμενο email στο Gmail που φαίνεται να προέρχεται από τη Google, πρέπει να διαγράψετε το email καθώς περιέχει κρυφές προτροπές AI που συνιστούν απειλή για εσάς, τις συσκευές και τα δεδομένα σας.
Η Google προειδοποιεί:
«Καθώς όλο και περισσότερες κυβερνήσεις, επιχειρήσεις και άτομα υιοθετούν την παραγωγική τεχνητή νοημοσύνη για να αυξήσουν την παραγωγικότητά τους, αυτή η λεπτή αλλά δυνητικά ισχυρή επίθεση γίνεται όλο και πιο σχετική στον κλάδο, απαιτώντας άμεση προσοχή και στιβαρά μέτρα ασφαλείας».
