Gli sviluppatori integrano misure di sicurezza nei prompt di sistema per ridurre il rischio delle prompt injection. Tuttavia, gli aggressori possono aggirare molte protezioni effettuando il jailbreak dell'LLM. (Vedi "Prompt injection e jailbreak" per ulteriori informazioni.) 

Le prompt injection sono simili alle SQL injection, poiché entrambi gli attacchi inviano comandi nocivi alle app camuffandole da input utente. La differenza fondamentale è che le SQL injection sono destinate ai SQL Database, mentre le prompt injection sono destinate agli LLM.  

Alcuni esperti ritengono che le prompt injection siano più simili all'ingegneria social perché non si basano su codice dannoso. Usano invece un linguaggio semplice per ingannare gli LLM e indurli a fare cose che altrimenti non farebbero. 

Sebbene i due termini siano spesso usati come sinonimi, le prompt injection e il jailbreak sono tecniche diverse. Le prompt injection mascherano le istruzioni dannose come input benigni, mentre il jailbreak fa in modo che un LLM ignori le sue protezioni.  

I prompt di sistema non si limitano a dire agli LLM cosa fare. Includono anche misure di salvaguardia che dicono all'LLM cosa non fare. Ad esempio, il prompt di sistema di una semplice app di traduzione potrebbe essere: 

Sei un chatbot di traduzione. Non si traducono dichiarazioni contenenti bestemmie. Traduci il seguente testo dall'inglese al francese: 

Queste salvaguardie mirano a impedire che le persone utilizzino gli LLM per azioni non volute: in questo caso, per far dire al bot qualcosa di offensivo.  

"Jailbreaking" di un LLM significa scrivere un prompt che lo convince a ignorare le sue protezioni. Spesso gli hacker possono farlo chiedendo al LLM di adottare un personaggio o di giocare a un "gioco". Il prompt "Do Anything Now" o "DAN" è una tecnica comune di jailbreaking in cui gli utenti chiedono a un LLM di assumere il ruolo di "DAN", un modello AI senza regole.  

Le misure di salvaguardia possono rendere più difficile il jailbreak di un LLM. Tuttavia, sia gli hacker che gli hobbisti sono sempre impegnati negli sforzi di prompt engineering per battere le regole più recenti. Quando trovano prompt che funzionano, spesso li condividono online. Il risultato è una sorta di corsa agli armamenti: gli sviluppatori LLM aggiornano le misure di sicurezza per tenere conto delle nuove richieste di jailbreaking, mentre i jailbreaker aggiornano i prompt per aggirare le nuove misure di sicurezza.  

Le prompt injection possono essere utilizzate per eseguire il jailbreaking di un LLM e le tattiche di jailbreak possono spianare la strada per un'injection rapida di successo, ma in definitiva sono due tecniche distinte.  

Le prompt injection rappresentano la vulnerabilità di sicurezza numero uno nella Top 10 di OWASP per le applicazioni LLM.³ Questi attacchi possono trasformare i LLM in armi utilizzabili dagli hacker per diffondere malware e informazioni errate, sottrarre dati sensibili e persino assumere il controllo di sistemi e dispositivi.

Le prompt injection non richiedono molte conoscenze tecniche. Allo stesso modo in cui i LLM possono essere programmati con istruzioni in linguaggio naturale, possono anche essere violati in un normale inglese.  

Per citare Chenta Lee (link esterno a ibm.com), Chief Architect of Threat Intelligence for IBM Security, "Con gli LLM, gli aggressori non hanno più bisogno di fare affidamento su Go, JavaScript, Python, ecc. per creare codice dannoso, devono solo capire come comandare e attivare in modo efficace un LLM utilizzando l'inglese." 

Vale la pena notare che una prompt injection non è intrinsecamente illegale, ma lo è solo quando viene utilizzata per fini illeciti. Molti utenti e ricercatori legittimi utilizzano tecniche di prompt injection per comprendere meglio le funzionalità LLM e le lacune di sicurezza. 

Gli effetti comuni degli attacchi prompt injection sono i seguenti: 

Le prompt injection rappresentano un grave problema di cybersecurity. Poiché utilizzano un aspetto fondamentale del funzionamento degli LLM, è difficile prevenirle.  

Molte app non LLM evitano gli attacchi di injection considerando le istruzioni degli sviluppatori e gli input degli utenti come tipi separati di oggetti con regole diverse. Questa separazione non è fattibile con le app LLM, che accettano sia le istruzioni che gli input come stringhe in lingua naturale.  

Per rimanere flessibili e adattabili, gli LLM devono essere in grado di rispondere a configurazioni quasi infinite di istruzioni in linguaggio naturale. Limitare gli input dell'utente o gli output LLM può ostacolare la funzionalità che rende utili gli LLM in primo luogo.  

Le organizzazioni stanno sperimentando l'uso dell'AI per rilevare input dannosi, ma anche i rilevatori di injection addestrati sono suscettibili alle injection stesse.⁵

Detto questo, gli utenti e le organizzazioni possono adottare determinate misure per proteggere le app di AI generativa, anche se non possono eliminare completamente la minaccia di prompt injection.