AI에게 말로 거는 해킹
— 프롬프트 인젝션이 보안 1순위 위협

언어 모델은 시스템이 미리 정해 둔 지시와 사용자가 넣은 입력을 하나의 긴 텍스트로 이어 붙여 한꺼번에 처리합니다. 둘을 따로 표시해 구분하는 장치가 없어서, 모델은 어느 부분이 진짜 명령이고 어느 부분이 그냥 처리할 데이터인지 확실히 가려내지 못합니다.

게다가 언어 모델은 자연어로 적힌 지시를, 그 지시가 어디에 적혀 있든 따르도록 학습돼 있습니다. 그래서 공격자가 사용자 입력이나 웹 문서에 '앞의 지시는 무시하고 이렇게 해라' 같은 문장을 명령처럼 적어 두면, 모델이 그것을 진짜 임무로 받아들여 동작합니다. 사용자가 모르는 외부 문서에 지시를 숨겨 두는 방식을 간접 프롬프트 인젝션이라 합니다. 입력을 분리하고 권한을 제한하는 방어가 연구되고 있지만, 이 문제는 모델 구조 자체에서 비롯되기 때문에 최신 모델에서도 완전히 막지는 못하고 있습니다.