Helyi (on-prem) AI telepítés
Nyelvi modellt futtatunk a szervezet saját infrastruktúráján, így az adatok sem a bevezetés alatt, sem éles üzemben nem hagyják el a házat.
Mikor van rá szükség
Mikor éri meg helyben futtatni
A helyi telepítés ott indokolt, ahol az adat érzékenysége vagy a hálózat zártsága kizárja a publikus AI-szolgáltatást, vagy ahol a modell használatát a szervezetnek házon belül kell tudnia ellenőrizni.
Érzékeny adat
Sok szervezet nem küldhet érzékeny adatot publikus AI-szolgáltatóhoz. Az ok lehet szabályozási vagy üzleti, de sokszor egyszerűen bizalmi.
Zárt hálózat
A modell internetkapcsolat nélküli, teljesen izolált (air-gapped) hálózaton is futhat.
Saját napló
A napló a szervezet saját rendszerében keletkezik, így az auditálhatóság is a saját kezében marad.
A folyamat
Így áll össze a helyi telepítés
-
Felhasználási cél
Átnézzük, milyen feladatra kell a modell, milyen adatokkal dolgozik, mi áll rendelkezésre a meglévő infrastruktúrában, és milyen válaszidőt, pontosságot és rendelkezésre állást vár a szervezet.
-
Modell és hardver
A nyílt súlyú (open-weight) modellek közül kiválasztjuk a célhoz illőt, és kvantizálással a hardverhez igazítjuk. A GPU-szervert ehhez méretezzük, workstation- vagy szerverosztályban, és kérésre beszerezzük és telepítjük.
-
Telepítés, hozzáférés, naplózás
A modellt és a kiszolgálásához szükséges szoftvert a szervezet adatközpontjában vagy szervertermében telepítjük. Beállítjuk, ki érheti el, és naplózzuk, ki mikor mit kérdezett, és mi volt a válasz.
-
Felület vagy integráció
A munkatársak böngészőből használható felületen érik el a modellt, vagy API-gatewayt biztosítunk, amelyen keresztül a fejlesztők a meglévő rendszerekbe köthetik.
-
Átadás
Leírjuk, hogyan működik a monitoring és a riasztás, mi a teendő incidens esetén, és hogyan zajlik a frissítés.
Szállítandó anyagok
Mit kap a munka végén
Egy használatba vehető nyelvi modellt a saját szerverén, és a leírást, amellyel üzemeltetni lehet.
átadott tétel
- Modell- és hardverválasztás a felhasználási célhoz
- Telepítés hozzáférés-kezeléssel és naplózással
- Felhasználói felület vagy integráció
- Üzemeltetési dokumentáció
Kapcsolódó szolgáltatások
Amivel a helyi telepítés kiegészíthető
A futó modell köré gyakran saját alkalmazás épül, és a biztonságát is ellenőrizni kell. Hasznos azt is feltérképezni, milyen AI-eszközöket használnak már most a munkatársak.
Biztonságos AI megoldás fejlesztése
Belső tudásbázis-kereső, integráció a meglévő rendszerekbe vagy AI-ágens, jogosultságkezeléssel és naplózással tervezve.
LLM és AI-ágens infrastruktúra biztonsági felülvizsgálata
Nyelvi modellek, AI-ágensek és RAG-rendszerek architektúra- és konfigurációs felülvizsgálata az OWASP LLM Top 10 alapján.
Shadow AI felmérés AI használati szabályzattal
Feltárjuk, milyen AI-eszközöket használnak a munkatársak és milyen adatokkal, majd erre építve használati szabályzatot készítünk.
Gyakori kérdések
Amit a legtöbben kérdeznek
Elég jó egy helyben futó modell a vállalati feladatokra?
A nyílt súlyú modellek minősége a legtöbb vállalati feladatra elegendő, például összefoglalásra, keresésre, osztályozásra és dokumentum-feldolgozásra.
Minden AI-kockázatot megszüntet a helyi telepítés?
Nem. A prompt-injekció és a jogosultsági kérdések a telepítés helyétől függetlenül fennállnak. Részletesen az AI-kockázatokról szóló cikkünkben írtunk róluk.
Hogyan frissül egy internettől elzárt rendszer?
Air-gapped környezetben külön telepítési és frissítési folyamatot követünk. Ezt a biztonsági határokkal együtt dokumentálva adjuk át.
Ki üzemelteti a rendszert az átadás után?
Az átadott dokumentáció alapján a szervezet saját csapata. A bevezetés utáni üzemeltetés egyedi megállapodás alapján kérhető.
