[AI 서비스 개발] 생성형 AI와 보안

1. 생성형 인공지능

- 인공지능 기술의 한 종류로서 이미지, 비디오, 오디오, 텍스트 등을 포함한 대량의 데이터를 학습하여 사람과 유사한 방식으로 문맥과 의미를 이해하고 새로운 데이터를 자동으로 생성해주는 기술

 

1) 기존 AI 기술과의 차이점

- 기존 AI 기술이 회귀, 분류, 군집화 등 판별적인 AI 기술이었다면, 생성형 AI 기술은 이용자가 요구한 질문이나 과제를 해결하기 위해 주어진 데이터를 기반으로 패턴과 규칙을 학습하고 이를 통해 새로운 컨텐츠를 생성하는 기술

 

2) LLM

- 대규모 언어 모델은 일반적으로 수백억 개 이상의 파라미터를 포함하는 인공지능 모델을 의미하며, 복잡한 언어 패턴과 의미를 학습하고 다양한 추론 작업에 대해 우수한 성능을 보유

 

3) GPT

- 대규모 언어 모델로서, 도서, 웹 문서 등에서 수집한 방대한 텍스트 데이터베이스를 기반으로 학습하여 언어의 통계적 패턴을 모방하고, 이를 토대로 설득력 있는 문장을 생성하는 기술

 

2. 생성형 AI 기술의 대표적인 보안 위협

- 사용자가 입력한 정보가 AI 모델의 훈련 데이터로 사용될 수도 있고, 다른 정보와 결합되어 타인의 요청에 따라 추론 작업에 활용되거나 해당 정보가 모델에 학습되어 타인과의 대화 과정에서 해당 중요 정보가 유출될 수 있다.

대표 보안 위협	주요 원인	가능한 보안 위협
잘못된 정보	- 편향 - 최신데이터 학습 부족 - 환각 형상	- 사회적 혼란 조장 - 고위험 의사결정 - 잘못된 의사결정 유도
AI 모델 악용	- 적대적 시스템 메시지	- 피싱 이메일 및 인물 도용 - 사이버 보안 위협 코드 작성 - 사이버범죄 커뮤니티 활성화 - 사회 공학적 영향 - 가짜 뉴스 생성
유사 AI 모델 서비스 빙자	- 유사 악성 서비스 접근 유도	- 스쿼딩 URL 및 확장 프로그램 - 가짜 애플리케이션
데이터 유출	- 데이터 합성 과정의 문제 - 과도한 훈련 데이터 암기 문제 - 대화 과정에서 개인정보 및 민감정보 작성	- 훈련 데이터 유출 - 데이터 불법 처리 우려 - 기밀 유출 - 대화 기록 유출 - 데이터베이스 해킹 및 회원 추론 공격
플러그인 취약점	- AI 모델의 적용 범위 확장 -안정성 확인 미흡 - 해커 공격 범위 확장 - 취약점이 있는 서비스와 연결	- 새로운 도메인에서의 모델 오작동 - 에이전트화된 AI 모델의 악용 - 멀티모달 악용
확장 프로그램 취약점	- 확장 프로그램 내부의 악성 서비스 설치 - 서비스 제공 업체의 보안 조치 미흡	- 개인정보 수집 - 시스템 공격 - 호스팅 서버 및 스토리지 시스템 위협
API 취약점	- 미흡한 API 키 관리 - 데이터와 명령 상이의 불문명한 관계	- API 키 탈취 - 악의적인 프롬프트 주입