인공지능(AI)이 스스로 판단하고 실행하는 ‘에이전트형 AI’ 시대가 본격화되면서, 글로벌 IT 기업들이 보안 전략을 근본적으로 재설계하고 있다. 특히 AI가 공격 도구로 활용되는 ‘자율 공격’ 환경이 확산되면서, 단순한 네트워크 방어를 넘어 AI 모델 자체의 신뢰성과 무결성을 확보하는 ‘디지털 신뢰’가 기업 경쟁력의 핵심 요소로 부상하고 있다.
AI 기반 사이버 위협 급증…“보안 환경의 판이 바뀌었다”
4일 업계에 따르면 최근 사이버 공격은 공격자의 직접 개입 없이 AI가 취약점을 탐색하고 맞춤형 피싱 메시지를 생성하는 형태로 빠르게 진화하고 있다. 세계경제포럼(WEF)이 발표한 ‘글로벌 사이버보안 전망 2026’ 보고서에서는 전 세계 기업 리더의 94%가 AI를 보안 환경 변화의 가장 강력한 요인으로 꼽았다.
실제로 보안 업계에서는 AI 기술의 ‘무기화’가 이미 본격화됐다는 평가가 나온다. 지난해 하반기 대규모 언어모델(LLM)을 기반으로 한 악성코드가 처음 확인되면서다. 한국인터넷진흥원의 ‘2025년 하반기 사이버 위협 동향 및 2026년 전망’ 보고서에 따르면, 2025년 국내 침해사고 신고 건수는 2,383건으로 전년 대비 26.3% 증가했다.
특히 같은 기간 분산서비스거부(DDoS) 공격은 350건으로 전년 동기 대비 약 두 배 증가했으며, 랜섬웨어 공격도 40.5% 늘어났다. 이는 국내 기업과 공공기관 역시 AI 기반 공격의 영향권에 본격적으로 들어섰음을 보여준다.
빅테크의 대응 전략…“AI 보안, 설계 단계부터”
이에 따라 마이크로소프트와 구글 등 글로벌 빅테크 기업들은 AI 모델을 포함한 ‘지능형 스택(Intelligent Stack)’ 보호를 최우선 과제로 삼고 있다. 외부 데이터에 의한 오염이나 악성 명령 실행을 사전에 차단하기 위해서다.
마이크로소프트는 공격자가 AI에 악성 명령을 입력해 내부 데이터를 탈취하는 시나리오를 집중 분석하고, 모델 설계 단계부터 보안을 내재화하는 ‘시큐리티 바이 디자인(Security by Design)’ 체계를 구축했다. 또한 프롬프트 인젝션과 데이터 포이즈닝 공격을 실시간으로 차단하는 필터링 시스템을 운영 중이다.
실제로 지난해 7월에는 MS 365 코파일럿에서 취약점(CVE-2025-32711)이 발견돼, 이메일이나 문서에 삽입된 악성 코드가 AI 처리 과정에서 사용자 권한으로 실행되는 사례가 확인되기도 했다. 이는 AI 기반 업무 도구가 새로운 공격 경로가 될 수 있음을 보여준 사례로 평가된다.
‘제로 트러스트’와 AI 레드팀…상시 검증 체계 구축
구글은 AI 환경에 ‘제로 트러스트(Zero Trust)’ 원칙을 적용해 모든 접근을 지속적으로 검증하는 체계를 강화하고 있다. 신뢰를 전제로 하지 않고 모든 접근을 검증하는 방식으로, 금융권과 공공기관에서도 빠르게 확산 중인 보안 모델이다.
또한 양사는 ‘AI 레드팀’을 상시 운영하며 모델 침투 테스트를 정례화하고, 발견된 취약점을 즉시 학습 과정에 반영하는 구조를 구축했다. 이는 공격보다 앞서 취약점을 선제적으로 찾아내는 ‘능동형 보안’ 전략으로 평가된다.
트렌드마이크로 최영삼 전무는 KISA 보고서를 통해 “이제 보안의 핵심은 사후 대응이 아니라 공격 이전에 취약점을 발견하는 선제적 방어”라며 “레드팀을 통한 지속적인 검증이 글로벌 빅테크의 새로운 보안 표준이 되고 있다”고 강조했다.
글로벌 규제 강화…기업 책임도 확대
올해부터는 각국의 규제 대응도 본격화된다. 유럽연합(EU)은 오는 8월 ‘AI법(AI Act)’을 전면 시행하며, 고위험 AI 시스템을 운영하는 기업에 기술 문서, 인간 개입 보장, 사이버보안 입증을 의무화한다. 이를 위반할 경우 글로벌 매출의 최대 7%에 해당하는 과징금이 부과될 수 있다.
미국에서도 미국 증권거래위원회(SEC)가 주요 보안 사고 발생 시 4일 이내 공시를 의무화하며 투명성 요구를 강화했다. 유럽의 NIS2 지침 역시 주요 기관에 24시간 내 초기 경보, 72시간 내 상세 보고를 요구하며, 위반 시 최소 1천만 유로(약 170억 원)의 벌금을 부과할 수 있도록 규정하고 있다.
오픈소스 공급망 보안 ‘비상’…개발 생태계가 표적
AI 모델이 다양한 오픈소스 라이브러리와 외부 데이터에 기반해 구축되는 만큼, 공급망 보안의 중요성도 크게 부각되고 있다. KISA에 따르면 미국 보안기업 소나타입(Sonatype)이 집계한 2025년 2분기 신규 악성 패키지 수는 1만6,279개로, 전년 동기 대비 188% 급증했다.
특히 Hugging Face, GitHub, NPM(Node Package Manager) 등 개발자 신뢰 플랫폼이 주요 공격 경로로 악용되고 있는 것으로 나타났다. 이는 개발 단계에서부터 보안 검증 체계를 강화하지 않을 경우, 전체 AI 서비스가 위험에 노출될 수 있음을 시사한다.
결론
AI가 공격과 방어 양측에서 핵심 기술로 자리 잡으면서 사이버 보안의 패러다임이 빠르게 변화하고 있다. 빅테크 기업들은 선제적 방어와 지속적 검증을 중심으로 대응 전략을 고도화하고 있으며, 글로벌 규제 역시 이에 맞춰 강화되는 추세다. 향후 기업 경쟁력은 단순한 기술력뿐 아니라 ‘디지털 신뢰’를 얼마나 확보하느냐에 달려 있다는 점에서, AI 보안은 더 이상 선택이 아닌 필수 요소로 자리잡고 있다.
“맥주 괴짜. 사악한 대중 문화 닌자. 평생 커피 학자. 전문 인터넷 전문가. 육류 전문가.”
