온라인 슬롯

오픈AI의 거대 언어 모델 챗GPT의 출시를 계기로 인공지능(AI)은 업무 현장에서 생산성을 향상시키고 업무를 신속하게 처리하는 등 다양한 장점으로 인해 전 세계 산업 분야에서 널리 활용되고 있다.

하지만 적절한 관리 감독이 이뤄지지 못할 경우 예상치 못한 위험을 야기하는 ‘뜨거운 감자’가 될 수 있어 각별한 주의가 필요하다는 지적도 제기되고 있다.

◆생산성 향상 등 장점 많은 AI…관리 부재 시 사고 발생 위험

특히 특정 인공지능 도구의 경우 기술적으로 복잡해 적절한 관리 감독이 시행되지 않으면 금융기관들의 경우 시스템 운용에 위험을 가중시키거나 금융소비자들에게 금융사기 등 피해를 야기시킬 수도 있어 이에 대한 우려가 더욱 커지고 있다.

이처럼 인공지능 사용에 따른 각종 부작용에 대한 우려가 점차 확대되고 있는 가운데 인공지능이 통화 내용을 가로채고 조작을 통해 계좌 입금 사기 등 금융 사고를 초래할 수 있다는 연구 결과가 발표돼 주목받고 있다.

해외 블록체인 전문 매체 코인텔레그래프(Cointelegraph)에 따르면 IBM 보안 연구소 연구원들은 최근 인공지능을 이용해 실시간 대화를 가로채고 조작하는 ‘놀랍도록 무서운’ 기술을 발견했다.

일명 ‘오디오 재킹(audio-jacking)’이라고 불리는 이 공격은 오픈AI의 챗GPT와 메타의 라마-2(Llama-2)를 포함하는 인공지능의 일종인 생성형 인공지능과 딥페이크 오디오 기술에 의존한다.

이번 실험에서 연구원들은 인공지능에게 전화 통화와 같은 실시간 통신에서 두 개의 소스에서 나오는 오디오를 라이브 커뮤니케이션으로 처리하도록 지시했다. 특정 키워드나 문구를 들으면 인공지능은 관련 오디오를 가로채서 의도한 수신자에게 전송하기 전에 조작하도록 추가로 지시를 받았다.

IBM 보안연구소의 블로그 게시물에 따르면 이 실험은 다른 인간 통화자가 자신의 은행 계좌 정보를 제공하라는 메시지를 받았을 때 인공지능이 통화자의 오디오를 성공적으로 가로채는 것으로 실험이 종료됐다.

이후 인공지능은 실제 음성을 딥페이크 오디오로 대체하여 다른 계정 번호를 부여했다. 하지만 이러한 공격은 실험에서 피해자들에 의해 감지되지 않았다.

◆금융 분야 AI 위험성에 취약…각종 사고 사전 차단 대책 시급

IBM 보안연구소의 블로그는 공격을 실행하는 동안 어느 정도의 소셜 엔지니어링 또는 피싱이 필요하지만 인공지능 시스템 자체를 개발하는 데는 거의 어려움이 없다고 지적했다.

IBM 보안연구소는 “이 PoC(개념 증명)를 구축하는 것은 놀랍고도 무서울 정도로 쉬웠다”며 “우리는 마이크에서 오디오를 캡처하고 오디오를 생성형 인공지능에 공급하는 방법을 파악하는 데 대부분의 시간을 보냈다”고 밝혔다.

지금까지의 경우 특정한 오디오 문자열을 자율적으로 가로채서 즉석에서 생성된 오디오 파일로 대체하는 시스템을 구축하기 위해서는 컴퓨터 과학의 여러 분야에서의 노력을 필요로 했다.

그러나 최신 생성형 인공지능은 어려운 작업을 스스로 수행한다. IBM 보안연구소의 블로그는 “개인의 목소리를 복제하기 위해서는 3초만 있으면 된다”며 “요즘에는 이러한 종류의 딥페이크가 API를 통해 이뤄진다”고 덧붙였다.

연구 결과 오디오 재킹의 위협은 자신도 모르게 피해자들을 속여 잘못된 계좌에 자금을 입금하도록 하는 것을 넘어서고 있다.

IBM 보안연구소의 연구원들은 또한 오디오 재킹이 실시간으로 뉴스 방송이나 정치 연설의 내용을 바꿀 수 있는 가능성과 함께 눈에 보이지 않는 형태의 검열로 기능할 수 있다고 지적했다.

학계와 전문가들은 이번 연구 결과 발표를 계기로 인공지능 사용에 따라 발생 가능한 금융 분야에서의 위험을 사전에 차단할 수 있는 방안을 마련해야 한다는 데 인식을 같이하는 것으로 알려지고 있다.

금융 분야의 경우 여타 산업 분야와 달리 인공지능의 사용에 따른 사이버 보안 문제 등 대형 사고는 물론 직간접적으로 피해를 초래할 가능성이 특히 높은 만큼 위험을 차단하는 사전적 조치가 필요하다고 판단하기 때문이다.

이에 함께 학계와 전문가들은 이번 연구 결과를 통해 인공지능 사용에 따른 금융 분야에서의 각종 사고 발생 위험성이 실체적으로 드러난 만큼 차제에 인공지능 기술 기업들도 금융 분야에서 발생 가능한 부작용을 사전 차단하기 위한 대책 마련에 보다 적극적으로 나서야 한다고 지적하고 있다. [뉴스드림]