Ta spletna stran hrani piškotke, da bi vam zagotovili boljšo uporabniško izkušnjo in popolno funkcionalnost te strani.

Analitične piškotke uporabljamo s storitvijo Google Analytics, samo z vašo privolitvijo. Sprejemam Zavrnitev Več informacij

Prompt injection 101

V zadnjem času smo priča izjemnemu porastu uporabe velikih jezikovnih modelov (angl. large language models ali LLMs), ki zaradi svoje priročnosti in enostavnosti uporabe pridobivajo na priljubljenosti med uporabniki ter postajajo pomemben del tehnoloških rešitev številnih podjetij. Vendar pa ta tehnologija prinaša tudi številne varnostne izzive, med katerimi je posebej izpostavljena ranljivost 'prompt injection', ki je bila leta 2024 uvrščena na prvo mesto na seznamu desetih najpogostejših ranljivosti za aplikacije LLM po OWASP. Ta vrsta ranljivosti omogoča, da napadalci vstavljajo ali spreminjajo vhodne ukaze (prompte), ki jih model uporablja za generiranje odgovorov, s tem lahko manipulirajo predvideno delovanje modela ali izvajajo številne nepooblaščene aktivnosti. Pomembno je poudariti, da je vsak trenutno znan jezikovni model na nek način ranljiv za tovrstne napade, kar povečuje potrebo po robustnih varnostnih ukrepih. Obstaja več ranljivosti, med njimi pa sta najpogostejša neposreden in posreden vnos zlonamernih ukazov. Pri neposrednem vnosu hekerji prevzamejo nadzor nad uporabniškim vnosom in neposredno vnašajo škodljive ukaze v jezikovni model. Pri posrednem vnosu pa hekerji svoje škodljive ukaze zamaskirajo v podatke, ki jih jezikovni model obdeluje, kot so spletne strani, api-ji, slike in zvočni zapisi. Večina jezikovnih modelov je nagnjena k takšnim napadom, saj je njihovo preprečevanje zahtevno in bi omejilo delovanje modela. Še večji varnostni pomislek predstavljajo sistemi, kjer ima jezikovni model pravico izvajanja HTTP zahtev, dostop do podatkovne baze ali zmožnost izvajanja kode. Na tak sistem lahko izvedemo napade, kot so XSS (Cross-Site Scripting), SQL injekcije, SSRF (Server-Side Request Forgery), IDOR (Insecure Direct Object References) in RCE (Remote Code Execution).

Anja Ostovršnik

Fakulteta za računalništvo in informatiko

Anja Ostovršnik is a computer science student specializing in cybersecurity. She studied at the Faculty of Computer and Information Science in Ljubljana on an university program in Computer Science and Informatics, which she successfully completed in 2023 and enrolled in an interdisciplinary master's program at the same faculty. Anja has been involved in cybersecurity for over five years and is a member of the student association Dragonsec SI, actively participating in CTF competitions. For the past two years, she has also been part of the Slovenian team at the ECSC (European CyberSecurity Challenge) and is an active advocate for the Women4Cyber movement. She briefly worked at the Jožef Stefan Institute, researching causal reasoning using neural networks. As a student she currently works in the cybersecurity department at GEN-I. In her free time, she enjoys hiking, cycling, air rifle shooting, and climbing. Additionally, she is quite active in a local amateur radio club.