한 그룹의 학자들이 Text-to-SQL 모델을 활용하여 공격자가 민감한 정보를 수집하고 서비스 거부(DoS) 공격을 준비할 수 있는 악성 코드를 생성하는 새로운 공격을 시연했습니다.
“사용자와 더 잘 상호 작용하기 위해 광범위한 데이터베이스 애플리케이션은 사람의 질문을 SQL 쿼리(즉, Text-to-SQL)로 변환할 수 있는 AI 기술을 사용합니다.” 쑤탄 펭Sheffield 대학의 연구원은 The Hacker News에 말했습니다.
“우리는 크래커가 특수 설계된 질문을 함으로써 Text-to-SQL 모델을 속여 악성 코드를 생성할 수 있음을 발견했습니다. 이러한 코드는 데이터베이스에서 자동으로 실행되기 때문에 그 결과는 매우 심각할 수 있습니다(예: 데이터 위반 및 DoS 공격). .”
두 개의 상용 솔루션인 BAIDU-UNIT 및 AI2sql에 대해 검증된 결과는 자연 언어 처리(NLP) 모델이 공격 벡터로 악용된 최초의 경험적 사례입니다.
블랙박스 공격은 입력 질문에 악성 페이로드를 삽입하면 구성된 SQL 쿼리에 복사되어 예기치 않은 결과를 초래하는 SQL 삽입 오류와 유사합니다.
이 연구에서 발견된 특수 제작된 페이로드는 공격자가 백엔드 데이터베이스를 수정하고 서버에 대해 DoS 공격을 수행할 수 있는 악의적인 SQL 쿼리를 실행하도록 무기화될 수 있습니다.
또한 공격의 두 번째 범주는 악성 명령 생성을 트리거하기 위해 적용되는 사용 사례에 독립적인 상태를 유지하면서 대규모 데이터 세트로 훈련된 모델인 다양한 사전 훈련된 언어 모델(PLM)을 손상시킬 가능성을 탐색했습니다. 특정 트리거를 기반으로 합니다.
연구원들은 “단어 대체, 특수 프롬프트 설계, 문장 스타일 변경 등 훈련 샘플을 중독시켜 PLM 기반 프레임워크에 백도어를 심는 방법은 많다”고 설명했다.
4가지 오픈소스 모델(BART-BASE, BART-LARGE, T5-BASE, T5-3B)에 대한 백도어 공격은 악성 샘플로 오염된 말뭉치를 사용하여 성능에 거의 영향을 미치지 않으면서 100% 성공률을 달성하여 이러한 문제를 야기했습니다. 현실 세계에서 감지하기 어렵다.
연구원들은 완화책으로 분류기를 통합하여 입력에서 의심스러운 문자열을 확인하고 기성 모델을 평가하여 공급망 위협을 방지하고 우수한 소프트웨어 엔지니어링 관행을 준수할 것을 제안합니다.