Iniezione istantanea: la più grande vulnerabilità dell’intelligenza artificiale generativa

I ricercatori sulla sicurezza hanno dimostrato come l’iniezione indiretta di sollecitare Per rubare dati, manipolare il curriculum di qualcuno ed eseguire in remoto codice su un dispositivo. Un gruppo di ricercatori del settore lo classifica come la principale vulnerabilità per coloro che implementano e gestiscono LLM. Il National Cyber ​​Security Centre, una filiale del Government Communications Headquarters (GCHQ), l’agenzia di intelligence britannica, ha messo in guardia dal pericolo di tali attacchi, sostenendo che finora hanno prodotto centinaia di casi. Anche se iniettato sollecitareÈ possibile che questo sia solo un problema intrinseco alla tecnologia LLM”, ha sottolineato GCHQ in un post sul blog. “Esistono alcune strategie che ne renderebbero difficile l’iniezione. sollecitareTuttavia, non esistono ancora soluzioni infallibili.

Misure di sicurezza contro l’iniezione indiretta sollecitare

Il portavoce di OpenAI Nico Felix ha dichiarato che l’iniezione sollecitare è un’area di ricerca attiva, mentre la società precedentemente indicata “JailbreakUn altro termine utilizzato per alcune iniezioni di questo tipo in cui hacker Approfittando della mancata installazione di un dispositivo elettronico Programmazione dannoso e viola le restrizioni e le protezioni del sistema operativo del produttore. Caitlin Rolston, direttore delle comunicazioni di Microsoft, afferma che l’azienda dispone di “grandi team” che lavorano su questioni di sicurezza. Nell’ambito di questo impegno continuo, adottiamo misure per bloccare i siti Web sospetti e miglioriamo costantemente i nostri sistemi per identificare e filtrare questi tipi di siti Web. sollecitare Prima che si formino, Rolston conferma.

Sebbene i sistemi di intelligenza artificiale creino nuovi problemi, possono anche aiutare a risolverli. Paulina di Google afferma che l’azienda utilizza “modelli appositamente addestrati” per “aiutare a identificare input dannosi noti e output noti non sicuri che violano le nostre politiche”. Nvidia ha pubblicato una serie di regole di sicurezza open source per aggiungere restrizioni ai modelli. Ma questi metodi funzionano solo fino a un certo punto. Non è possibile conoscere tutti i modi in cui sollecitare Dannoso. Bolina e Harang di Nvidia affermano che gli sviluppatori e le aziende che desiderano implementare LLM nei propri sistemi dovrebbero adottare una serie di migliori pratiche del settore della sicurezza per ridurre il rischio di iniezione indiretta. “Bisogna pensare a come integrare questi modelli e implementarli in applicazioni e servizi aggiuntivi”, afferma Polina.

“Nel momento in cui ottieni informazioni da terze parti, come Internet, non puoi fidarti di LLM più di qualsiasi utente casuale del Web”, sottolinea Harang. “La conclusione è che dovresti sempre posizionare il tuo LLM al di fuori di qualsiasi confine di fiducia se vuoi concentrarti davvero sulla sicurezza.” Nell’ambito della sicurezza informatica, Limiti di fiducia Permettono di determinare in che misura è possibile utilizzare determinati servizi e i livelli di accesso a determinati tipi di dati. L’isolamento del sistema riduce il rischio. Da quando OpenAI ha introdotto il Plugin Per ChatGPT all’inizio di quest’anno, Autenticazione utenteCiò significa che le persone devono concordare quando i plugin vogliono eseguire qualche azione. Harang afferma che le organizzazioni devono sapere chi ha sviluppato le estensioni e come sono state progettate prima di integrarle.

Polina di Google spiega che quando si collegano i sistemi ai programmi LLM, è necessario anche seguire Il principio di sicurezza informatica del privilegio minimoCiò fornisce al sistema un accesso minimo ai dati di cui ha bisogno e la minima possibilità di apportare le modifiche necessarie. “Se chiedessi a un LLM di leggere il mio libro e-mailse al livello di servizio che fornisce questa interazione viene concesso tale servizio [la capacidad] Per creare email? Probabilmente no”, afferma. Dopotutto si tratta di una nuova versione di un vecchio problema di sicurezza, aggiunge Harang. “La superficie di attacco è nuova. Ma i principi e le minacce con cui abbiamo a che fare sono gli stessi con cui abbiamo a che fare da più di 30 anni.”

L’articolo è stato originariamente pubblicato in Cablato nel Regno Unito. Adattato da André Osornio.