LLM és AI-ágens infrastruktúra biztonsági felülvizsgálata
Saját fejlesztésű vagy bevezetett nyelvi modellek, AI-ágensek és RAG-rendszerek architektúráját és konfigurációját vizsgáljuk felül az OWASP LLM Top 10 alapján.
Milyen rendszereket
Ahol a modell vállalati adatot lát
A felülvizsgálat azoknak a rendszereknek szól, ahol egy nyelvi modell hozzáfér a vállalati adatokhoz vagy rendszerekhez.
Nyelvi modellek
Nyelvimodell-alapú alkalmazások, amelyek összefoglalnak, keresnek, osztályoznak vagy dokumentumokat dolgoznak fel.
RAG-rendszerek
A modell a vállalati tudásbázisban keres, és a talált dokumentumokból állítja össze a választ.
AI-ágensek
Az ágens eszközöket is hív: levelet küld, fájlt olvas, API-t szólít meg. Egy hibás vagy eltérített lépése így már valódi műveletet indít.
Mit vizsgálunk
A vizsgált területek
Az OWASP LLM Top 10 a nyelvimodell-alapú alkalmazások leggyakoribb biztonsági kockázatainak közösségi listája. A felülvizsgálat során a következő területeket nézzük meg.
Architektúra és adatfolyamok
Milyen adatot lát a rendszer, mennyire érzékeny ez az adat, és elhagyja-e a szervezetet. Ha igen, melyik szolgáltatóhoz kerül.
Jogosultsági modell
Egy belső asszisztens gyakran egyetlen szolgáltatásfiókkal olvassa a fájlmegosztást, és ez a fiók jellemzően mindent lát. Azt nézzük, hogy a modell a felhasználó nevében és jogosultságával fér-e hozzá az adatokhoz. Ha egy junior kolléga az ügyvezető fizetésére kérdez, a helyes válasz az, hogy a rendszer ehhez nem fér hozzá.
Eszközhozzáférés
Mit tud tenni a modell a válaszadáson túl, és melyik műveletnél kell hozzá emberi jóváhagyás.
Prompt-injekció
A közvetett injekciónál a rosszindulatú utasítás egy dokumentumban, weboldalon vagy e-mailben rejtőzik, amelyet a modell feldolgoz. Megnézzük, hogyan kezeli ezt a rendszer.
Naplózás
Visszakövethető-e utólag, ki mikor mit kérdezett, milyen forrásokból született a válasz, milyen eszközt hívott meg a modell és milyen paraméterekkel, és mi lett a kimenet.
Szállítandó anyagok
Mit kap a munka végén
átadott tétel
- Az architektúra és az adatfolyamok áttekintése
- A jogosultságok, az eszközhozzáférések és a naplózás értékelése
- Kockázati jelentés és keményítési javaslatok
- Igény szerint a javítások végrehajtása
Kapcsolódó szolgáltatások
Ami a felülvizsgálat mellé tartozik
A felülvizsgálat egy meglévő rendszert értékel. Ha a javaslatok új fejlesztést vagy védelmi eszközt igényelnek, ezek a szolgáltatások folytatják a munkát.
Biztonságos AI megoldás fejlesztése
Egyedi AI-megoldások, a belső tudásbázis-keresőtől az AI-ágensig, jogosultságkezeléssel és naplózással tervezve.
Helyi (on-prem) AI telepítés
Modell- és hardverválasztás, telepítés, hozzáférés-kezelés és naplózás a szervezet saját infrastruktúráján.
AI-védelmi kontrollok bevezetése
Gyártói megoldások, amelyek láthatóvá teszik és szabályozzák az AI-szolgáltatások használatát, és szűrik a kártékony utasításokat.
Gyakori kérdések
Amit a legtöbben kérdeznek
Behatolásteszt is része a felülvizsgálatnak?
Nem. A felülvizsgálat az architektúrát és a konfigurációt értékeli, a rendszert nem támadjuk meg.
Teljesen kivédhető a prompt-injekció?
Nem. A nyelvi modell nem tudja megbízhatóan megkülönböztetni az utasítást az adattól, mert mindkettő szöveg. A védelem ezért a hatás korlátozására épül: a bemenetet szigorúan el kell választani az utasítástól, a modell kimenetét futtatás előtt ellenőrizni kell, és a modell csak a feltétlenül szükséges eszközöket hívhatja meg.
Helyben futó modellnél is szükség van felülvizsgálatra?
Igen. A helyi telepítéssel megszűnik az adattovábbítás harmadik félnek, a prompt-injekció és a jogosultsági kérdések viszont a telepítés helyétől függetlenül fennállnak. Erről részletesen a vállalati AI bevezetés kockázatairól szóló cikkünkben írtunk.
