[기술 스터디] IGLOO_생성형 인공지능(Generative AI)의 보안 위협과 안전한 활용

생성형 인공지능(Generative AI)의 보안 위협과 안전한 활용

---

01. 생성형 인공지능(Generative AI) 정의

# 인공지능 (Artificial Intelligence) : 인간의 지능을 모방하거나 대체하기 위해 컴퓨터나 기계를 사용하는 기술을 나타낸다. 초기 AI는 명시적인 규칙과 규칙 기반 시스템을 사용하여 문제를 해결하려고 시도했다.

# 머신러닝 (Machine Learning) : 머신러닝은 데이터에서 패턴을 학습하고 이러한 학습된 패턴을 기반으로 문제를 해결하는 AI 기술이다. 명시적인 규칙을 제공하지 않고 데이터로부터 스스로 학습한다.

# 딥러닝 (Deep Learning) : 딥러닝은 인공신경망을 사용하는 머신러닝의 한 분야이다. 딥러닝 모델은 계층적으로 구성된 인공신경망을 사용하여 데이터에서 특징을 추출하고 분류 작업을 수행한다.

# 생성형 AI (Generative AI) : 생성형 AI는 데이터 세트를 활용하여 새로운 콘텐츠를 창조하는 기술로, 인간의 명령에 따라 새로운 콘텐츠를 생성한다. 이러한 기술은 시, 설명, 이미지, 음악 등 다양한 유형의 콘텐츠를 생성할 수 있다.

# 인간 언어 이해 : 생성형 AI는 인간 언어를 이해하고 처리하는 데 중요한 역할을 한다. 이를 통해 사용자의 명령어나 지시를 이해하고 이에 따라 텍스트나 멀티미디어 콘텐츠를 생성한다.

 

02. 생성형 AI를 활용한 다양한 서비스와 전망

1) 시각적 콘텐츠

# 동영상 생성 : 생성형 AI를 활용하여 효율적이고 유연한 방식으로 동영상을 생성할 수 있다. 텍스트로 원하는 동영상 콘셉트를 설명하면 AI가 해당 콘셉트에 맞는 영상을 생성해 줄 수 있다. 이를 통해 동영상 제작 프로세스를 단순화하고 비용과 시간을 절감할 수 있다.

# 특수 효과 및 애니메이션 : AI를 사용하여 동영상에 특수 효과를 추가하거나 애니메이션을 생성하는 데 활용할 수 있다. 예를 들어, 특정 장면에 화려한 비주얼 효과를 추가하거나 캐릭터의 움직임을 자동으로 생성할 수 있다.

 

2) 텍스트

# 이야기, 소설, 시, 노래 가사 : AI를 사용하여 이야기, 노래 가사, 소설, 시, 혹은 짧은 이야기를 생성할 수 있다. 사용자가 주제를 제시하거나 스토리 아이디어를 공유하면 AI는 이를 기반으로 흥미로운 텍스트를 작성할 수 있다.

# 마케팅 및 소셜 미디어 콘텐츠 : 마케팅 캠페인을 위한 콘텐츠를 생성하거나, 소셜 미디어 포스트, 트윗, 인스타그램 캡션 등을 작성하는 데 활용할 수 있다. 이를 통해 브랜드 메시지를 전달하고 고객과 상호작용할 수 있다.

 

3) 코딩

# 프로그램 코드 생성 : AI를 사용하여 특정 작업을 수행하는 프로그램 코드를 생성할 수 있다. 사용자가 원하는 기능이나 작업을 설명하면, AI는 그에 맞는 코드를 제안하거나 생성할 수 있다. 이는 특히 초기 개발 단계에서 개발자들에게 유용할 수 있다.

# 코드 분석 및 테스트 케이스 생성 : AI는 프로그램 코드를 분석하여 가능한 버그를 식별하고, 자동으로 테스트 케이스를 생성할 수 있다. 이를 통해 소프트웨어 품질을 향상시키고 버그를 조기에 감지할 수 있다.

 

4) ChatGPT의 대중화

2022년 11월, OpenAI가 대형 언어 모델 기반 챗봇 서비스인 ChatGPT를 출시했다. 이 서비스는 출시 후 두 달 만에 월 이용자(MAU) 1억 명을 기록하며 생성형 AI의 대중화 가능성을 확인했다.

 

5) 경제적 영향

생성형 AI는 경제적으로 중요한 역할을 하고 있으며, 금융기업인 Goldman Sachs는 생성형 AI가 글로벌 GDP 7% 성장을 주도하고, 수백만 개의 일자리에 영향을 미칠 것으로 예측하고 있다.

 

6) 한국시장의 전망

한국 IDC에 따르면 인공지능 시장은 매년 14.9% 증가할 것으로 예측되며, 2027년까지 4조 4,636억 원 규모에 도달할 것으로 전망되고 있다.

 

03. 생성형 AI 보안 위협

 

1) 확장 프로그램 취약점

# 개인정보 수집 : AI 모델 확장 프로그램 사용 중에 악성 플러그인 설치나 권한 남용으로 개인정보가 무단으로 모니터링될 수 있으며, 사용자의 정보가 악용될 우려가 있다. 이로 인해 사용자의 신원 도용 및 금융 손실과 같은 사이버 범죄가 발생할 수 있다.

# 시스템 공격 : 취약한 확장 프로그램을 악용하는 해커는 시스템 공격에 확장 프로그램을 활용할 수 있다. 예를 들어, 악성 확장 프로그램을 설치한 사용자를 대상으로 랜섬웨어 공격을 실행하거나, 사용자 시스템을 좀비 PC로 만들어 DDoS 공격을 수행할 수 있다.

# 호스팅 서버 및 스토리지 시스템 위협 : AI 모델 확장 프로그램은 안전한 서버와 스토리지 시스템에서 호스팅되어야 한다. 호스팅 및 스토리지 제공업체가 적절한 관리를 하지 않을 경우 해커가 호스팅 서버에 침입하여 내부 주요 데이터 유출, 서버 마비, 서비스 중단 등을 유발할 수 있다.

 

2) 잘못된 정보

# 사회적 혼란 조장 : 생성형 AI 기술은 텍스트나 이미지, 음성 등을 인공적으로 생성하거나 변형할 수 있는 능력을 가지고 있다. 이러한 기술은 사회적 이슈나 정치적 성향에 따라 편향된 정보나 거짓 정보를 만들어내어, 사람들의 감정이나 의견을 조작하거나 분열시킬 수 있다. 예를 들어, 생성형 AI 기술을 이용하여 특정 정치인이나 단체에 대한 비난이나 찬양, 혹은 가짜 사건이나 증거를 만들어내어, 사회적 혼란이나 갈등을 야기할 수 있다. 또한, 생성형 AI 기술은 자신이 생성한 정보의 출처나 신뢰도를 검증하기 어렵기 때문에, 사용자가 잘못된 정보를 정확하다고 믿거나, 정확한 정보를 잘못되었다고 의심할 수 있다.

# 딥페이크 : 딥페이크는 생성형 AI 기술 중 하나로, 얼굴이나 목소리 등을 인공적으로 합성하거나 바꾸는 기술이다. 연예인이나 정치인 등의 얼굴이나 목소리를 다른 사람이나 상황에 맞게 변형하여, 가짜 영상이나 음성을 만들어낼 수 있으며, 성적인 내용이나 범죄적인 내용 등을 포함하여, 특정 인물이나 단체에 대한 명예훼손이나 위협, 혹은 거짓 증언이나 증거 등을 만들어낼 수 있다.

# 가짜 뉴스 : 가짜 뉴스는 생성형 AI 기술 중 하나로, 거짓이거나 왜곡된 정보를 뉴스 형식으로 만들어내는 기술이다. 사회적 이슈나 정치적 성향에 따라 편향된 정보나 거짓 정보를 만들어내어, 사람들의 감정이나 의견을 조작하거나 분열시킬 수 있다. 인터넷이나 SNS 등을 통해 쉽게 전파될 수 있으며, 실제 뉴스와 구분하기 어려울 수 있다.

# 고위험 의사 결정 : 인공지능이 인간의 생명, 건강, 안전, 재산, 권리, 자유 등에 중대한 영향을 미칠 수 있는 결정을 하는 것을 말한다. 예를 들어, 의료 진단, 법률 판결, 금융 거래, 군사 작전, 교통 관리 등이 고위험 의사 결정의 대상이 될 수 있다. 고위험 의사 결정은 인공지능의 오류나 조작에 취약하며, 인간의 책임과 투명성을 침해할 수 있다. 따라서 고위험 의사 결정에는 적절한 윤리적이고 법적인 가이드라인과 감독이 필요하다.

# 잘못된 의사 결정 유도 : 생성형 AI 서비스 사용 시 검증되지 않은 결과물의 공유는 조직·개인의 잘못된 의사 결정을 유도할 수 있다.

 

3) AI 모델 악용

# 피싱 이메일 및 말투 도용 : AI 모델은 사용자의 텍스트 스타일을 모방하여 피싱 이메일을 생성하거나 특정 개인이나 단체의 말투를 모방하는 데 사용될 수 있으며, 이는 기존의 보안 시스템을 속일 수 있다.

# 정교한 피싱 공격 : 생성형 AI는 텍스트 생성 능력을 향상시켜 사람처럼 대화하고 맥락을 이해할 수 있으며, 고도의 텍스트와 이미지를 생성할 수 있다. 이로 인해 정교한 피싱 이메일을 생성하는 데 사용될 우려가 있으며, 이러한 이메일은 기존의 방어 메커니즘으로 감지하기 어려울 수 있다. 또한 생성 AI를 활용하면 쉽게 피싱 이메일을 생성할 수 있어 공격 규모가 더 커질 수 있다. 텍스트 변형 및 생성이 자동화되면, 다양한 피싱 메일의 대량 생산이 가능해져 방어가 어려워진다.

# 사이버 보안 위협 코드 작성 : AI 모델은 소프트웨어 코드를 생성할 수 있으므로 해커는 이를 통해 악성 코드를 작성하여 정보 보안에 위협을 가할 수 있다.

# 사회 공학적 영향 : AI 모델은 현실적이고 믿을만한 콘텐츠를 생성하므로, 사람들을 조작하거나 사기를 치는 데 사용될 수 있으며, 이는 사회 공학적 공격을 더욱 용이하게 만든다.

# 가짜 뉴스 생성 : 대규모 언어모델은 가짜 뉴스를 생성하는 데 사용될 수 있으며, 현실적이고 설득력 있는 결과물을 생성하여 허위 정보를 퍼뜨리는 데 악용될 수 있다.

 

4) 데이터 유출

# 훈련 데이터 유출 : 수집된 훈련 데이터를 기억할 수 있으며, 이로 인해 중요한 정보가 모델 내에서 처리되고 응답 생성 과정에서 노출될 수 있는 위험이 있다. 민감한 정보들이 노출되면 보안에 심각한 위협이 발생할 수 있다.

# 기밀 유출 : 개인 또는 기관의 기밀 정보를 생성형 AI에 제공하면 이러한 정보가 다른 사용자에게 유출될 위험이 있으며, 이로 인해 중요한 내부 정보나 개인정보가 노출될 수 있다. 사용자는 개인 및 기밀 정보를 입력하지 않는 것이 중요하며, 정보 유출 방지를 위한 대책을 마련해야 한다.

# 대화 기록 유출 : 일부 AI 서비스에서는 버그로 인해 타인의 대화 기록이 다른 사용자에게 노출되는 사례가 있다. 이로 인해 개인 정보와 금융 정보 등이 노출될 수 있는 위험이 있다.

# 데이터베이스 해킹 및 회원 추론 공격 : 대규모 언어 모델을 이용하는 사용자의 질문과 데이터는 저장되며, 이 정보에 접근할 수 있는 모델 제공자나 해커에 의한 데이터베이스 해킹 또는 회원 추론 공격이 발생할 수 있어, 기밀성을 침해할 수 있다.

 

5) 유사 AI 모델 서비스 빙자

# 스쿼팅 URL 및 확장 프로그램 : 생성형 AI 기술을 이용하여 신뢰할 수 있는 웹사이트나 애플리케이션의 URL 또는 확장 프로그램을 모방, 변조하는 행위를 말힌다. 예를 들어, 구글이나 네이버 같은 인기 있는 웹사이트의 URL을 약간 바꾸거나, 크롬이나 파이어폭스와 같은 브라우저의 확장 프로그램을 가짜로 만들어내어, 사용자가 접속하거나 설치하도록 유도할 수 있다. *스쿼팅 URL 및 확장 프로그램은 사용자의 개인 정보나 계정, 비밀번호 등을 탈취하거나, 악성코드를 설치하거나, 피싱이나 사기 등의 범죄를 수행하는 목적으로 악용될 수 있다.

  * 스쿼팅 : 사이버 스쿼팅 또는 도메인 스쿼팅을 포함한 유사 이름 위협을 의미함 (예: 철자가 조금 다른 URL을 불법 취득하여 여기에 실수로 접속한 사용자를 위협하는 행위)

# 가짜 애플리케이션 : 생성형 AI 기술을 이용하여 신뢰할 수 있는 애플리케이션의 디자인이나 기능을 모방 또는 변조하는 행위를 말한다. 예를 들어, 인스타그램이나 페이스북과 같은 인기있는 SNS 애플리케이션의 로고나 화면을 약간 바꾸거나, 구글 플레이나 애플 앱스토어와 같은 앱 마켓의 리뷰나 평점을 조작하여, 사용자가 다운로드하거나 설치하도록 유도할 수 있다. 가짜 애플리케이션은 사용자의 개인정보나 계정, 비밀번호 등을 탈취하거나, 악성 코드를 설치 또는 피싱이나 사기 등의 범죄를 수행하는 목적으로 악용될 수 있다.

 

04. 생성형 AI를 이용한 사이버 공격 및 범죄의 예방과 대응 방안

# 생성형 AI를 활용한 피싱 공격에 대응하기 위해 기술적 보안 대책을 강화하고, 특히 피싱 공격이 더욱 정교해질 가능성을 고려하여 교육을 통해 위험성을 인식시키는 노력이 필요하다. 또한, 생성형 AI 모델의 결과물을 식별할 수 있는 기술을 개발하고 보안 위협을 모니터링하는 시스템을 구축하는 것이 중요하다.

# AI 보안의 구체적인 방향성을 확립하려면, 데이터 수집 단계부터 학습, 결과물 활용까지 전 과정에 대한 종합적인 보안 프레임워크를 마련해야 한다.

---

느낀점

: 생성형 AI는 정말 핫한 주제지만 그 기술만큼의 보안은 따라오지 않은 것으로 알고 있다. 이번 글을 통해 생성형 AI의 보안이 현재 어디까지 왔는지, 그리고 어떤 부분이 문제인지, 앞으로 어떻게 노력해나가야 하는지 등을 알 수 있어서 좋았다. 이 분야에 대해 좀 더 알아보면 흥미로울 것 같다.