악성코드 숨긴 AI/ML 모델을 활용한 해킹

오픈소스 AI/ML 모델이 증가하면서 AI 플랫폼에서 심각한 취약점도 다수 발견되고 있다. 

ML플로우(MLflow), 클리어ML(ClearML), 허깅페이스(Hugging Face)와 같은 오픈소스 플랫폼에서 초고위험도 취약점이 발견되었다. 특히 , 허킹페이스에서 악성 코드가 숨겨진 AI/ML 모델이 100개 이상 발견되었다. 

해당 모델은 시스템 제어권 탈취, 서버 내 저장 파일 삭제, 백도어 설치, 원격에서 코드 실행과 같은 심각한 악성행위를 할 수 있는 취약점이어서 주의가 필요하다. 

악성코드가 사용된 모델은 파이토치가 95%, 텐서플로우가 5% 를 차지

 

공격 기법

• ComPromptMized : 공격자는 쿼리와 데이터에 코드를 삽입함으로써 이러한 애플리케이션이 생성 AI 서비스 또는 검색 증강 생성(RAG) 방식에 의존하는 점을 악용하여 애플리케이션의 무결성과 기능을 손상
• 프롬프트 인젝션 공격 : 공격자가 LLM을 조작할 수 있는 또 다른 수단. 공격자는 이미지나 오디오 녹음과 같은 데이터에 숨겨진 프롬프트를 전략적으로 삽입함으로써 모델의 출력을 의도하지 않은 동작으로 유도하여 추가적인 악용 및 침해
• 검색증강생성(RAG) 이용 공격: 인공지능 모델들이 신뢰할 만한 외부 데이터를 활용할 수 있도록 해 주는 방법을 이용하여 멀웨어를 복제하여 퍼트림 (모리스웜2). RAG를 악용한 메일을 통해 인공지능의 이메일 데이터베이스를 감염

 

예방책

• 모니터링 및 탐지 강화 : 강력한 모니터링 메커니즘을 구현하여 오픈 소스 리포지토리 내에서 AI/ML 모델과 관련된 비정상적인 행동 및 의심스러운 활동을 탐지
• 엄격한 검증 및 검증 : 코드 검토 및 무결성 검사를 통해 잠재적인 취약점이나 악성 페이로드를 식별하는 등 배포 전에 AI/ML 모델에 대한 철저한 검증 및 검증 프로세스의 우선순위 선정
• 안전한 개발 관행 : 안전한 코딩 관행과 확립된 보안 지침 및 프로토콜 준수를 강조하여 개발팀 내 보안 문화를 조성
• 지속적인 교육 및 훈련 : 보안 담당자가 AI/ML 환경의 새로운 위협과 진화하는 공격 기술을 파악할 수 있도록 지속적인 교육
• 협업 및 정보 공유 : 업계 동료, 위협 인텔리전스 제공업체 및 연구 커뮤니티와의 협업을 촉진하여 악성 AI/ML 모델 및 고급 공격 기법에 대응하기 위한 인사이트와 모범 사례를 공유
  
  
  

J프로그아티팩토리는 허깅페이스 플랫폼에서 100개 이상의 악성코드가 포함된 AI모델을 발견했다고 밝혔다 (출처, J프로그아티팩토리)

 

 

허깅페이스(Hugging Face) : 트랜스포머나 데이터셋 같은 머신러닝 프레임워크를 제공하는 세계 최대의 인공지능 플랫폼

개발자는 여기에 공개된 머신러닝 레퍼런스를 통해 최신 모델을 스스로 구축할 수 있다. 트랜스포머 모델을 만들 때 코드를 작성할 필요없이 여기서 트랜스포머 라이브러리를 가져오기만 하면 되기 때문에 앱 구축 과정에서 상당히 유용하다. 최신 모델을 업데이트할 뿐만 아니라, 지속적인 리뷰를 통해 완성도 높은 모델을 받을 수 있다. 특히 배포->리뷰->수정 단계를 거치도록 형성하는 오픈 소스 커뮤니티라는 장점 (출처 나무위키)