글로벌 CIO 인사이트: AI 도입의 현실과 해결 과제

많은 CIO들이 AI가 비즈니스를 혁신할 것이라 믿고 있지만, 실제로 AI를 전면 도입한 경우는 11%에 불과합니다. 검증된 CIO 150명을 대상으로 한 최신 설문조사 결과를 통해 AI 도입을 위한 기술적, 조직적 선결 과제가 무엇인지 살펴보세요. 엔터프라이즈 AI의 현황을 파악할 수 있습니다.

기업 CIO가 데이터 인프라와 AI 역량을 실시간으로 구축해 나가면서, 직접 솔루션을 설계하는 방식보다 에이전트포스 같은 신뢰할 수 있는 솔루션의 필요성이 분명해졌습니다.

기업 CIO의 84%는 AI가 인터넷의 등장만큼이나 비즈니스에 중요한 역할을 할 것이라고 보고 있습니다. 하지만 실제로 AI를 전면 도입한 경우는 11%에 불과합니다. 이들은 데이터 보안을 비롯한 다양한 기술적, 조직적 과제를 먼저 해결해야 한다고 말합니다.

아래 데이터는 직원 수 1,000명 이상 기업의 검증된 CIO 150명을 대상으로 한 세일즈포스의 최신 설문조사 결과입니다. 기업들이 AI 전략을 추진하고 AI 에이전트 도입을 확대해 나가는 과정에서 직면하게 되는 과제들과 함께 엔터프라이즈 AI의 현황을 한눈에 파악할 수 있습니다.

• 방법론: 세일즈포스는 NewtonX에 의뢰하여 전 세계의 검증된 엔터프라이즈 CIO 150명을 대상으로 이중 익명 설문조사를 실시했습니다. 설문조사는 2024년 7월 23일까지 진행되었으며, 18개국 17개 산업 분야에서 응답을 수집했습니다. 여기서 ‘엔터프라이즈’는 직원 수가 1,000명 이상인 기업으로 정의됩니다.

주요 조사 결과

• CIO는 AI 전문가가 되어야 한다는 압박감을 느낍니다. CIO의 61%는 AI에 대해 자신이 아는 것보다 더 많이 알고 있어야 한다고 생각합니다. 그리고 이들은 다른 기업의 동료 CIO들에게 가장 많은 정보를 얻는다고 답했습니다.
• CIO들은 AI가 게임 체인저라는 데 동의하지만, 여전히 신중한 태도를 보입니다. CIO의 84%는 AI가 인터넷만큼이나 비즈니스에 중요한 역할을 할 것이라고 믿고 있습니다. 하지만 67%는 다른 기술에 비해 더 신중하게 접근하는 태도를 보입니다.
• IT 부서는 AI 도입에 앞서 데이터 이니셔티브(data initiatives)에 먼저 집중하고 있습니다. CIO들은 예산의 중앙값 20%를 데이터 인프라와 관리에 사용하고 있는 반면, AI에는 5%를 지출한다고 답했습니다. 보안이나 개인정보 보호 위협, 그리고 신뢰할 수 있는 데이터의 부족이 AI와 관련해 CIO 들이 가장 우려하는 요소로 꼽혔습니다.
• 비즈니스 파트너들은 AI 타임라인을 다시 점검해 봐야 합니다. CIO의 66%는 AI 투자를 통해 이익(ROI)을 얻을 수 있을 거라고 믿습니다. 하지만 68%는 각 부서의 이해관계자들이 ROI가 언제 나타날지에 대해 비현실적인 기대를 하고 있다고 생각합니다.
• CIO들은 AI와 관련해 각 부서 간에 인식 차이가 있다고 보고 있습니다. 고객 서비스와 같은 부서는 AI를 가장 많이 활용할 수 있는 곳으로 여겨지지만, 기술 도입 준비는 가장 부족한 부서로 인식될 수 있습니다.

세일즈포스의 CIO Juan Perez는 이렇게 말했습니다.

“생성형 AI는 이번 세기 가장 혁신적인 기술 중 하나입니다. 이번 조사를 통해 다양한 산업과 지역의 CIO들이 진정한 변화를 이끌 AI 도입을 준비하기 위해 어떤 기반을 다지고 있는지를 엿볼 수 있습니다.”

이해관계자들의 기대보다 뒤처지는 AI 구현으로 인한 리스크 발생

업무 현장에서 AI 사용이 빠르게 증가하고 있습니다. 이는 비즈니스 관계자들이 AI를 통해 업무 효율성을 높일 기회로 보고 있기 때문입니다. 실제로 CIO의 77%는 AI의 가치에 대한 경영진의 이해도가 보통 또는 우수하다고 답했습니다. 하지만 68%는 비즈니스 파트너들의 과도한 기대감에 우려를 표합니다. 예를 들어, 어느 시점에 투자 수익(ROI)이 발생할지에 대한 비현실적인 기대를 하고 있다고 생각합니다.

영업, 마케팅, 서비스, 이커머스 부문의 많은 비즈니스 리더가 이미 AI 기술을 업무에 ‘완전히 도입했다’고 보고 있습니다. 하지만 이러한 도입의 상당 부분이 승인되지 않은 방식으로 이루어지고 있어, 보안에 심각한 위험을 초래할 수 있습니다. 예를 들어, 직원들이 민감한 데이터를 보안이 갖춰지지 않은 LLM(대형 언어 모델)을 통해 전송하는 사례가 있습니다.

“우리는 아직 많은 직원이 AI를 어떻게 활용해야 하는지, 그리고 그것을 어떻게 관리해야 할지 잘 모릅니다.”

– 미국 전문 서비스 업계 CIO

한편 기술 전문성과 조직 전반에 대한 넓은 시각을 가진 CIO 중 실제로 AI를 ‘완전히 도입했다’고 답한 비율은 단 11%였습니다. 이는 각 부서 리더보다 18~38% 포인트 낮은 수치입니다.

Perez는 “직원들이 대중적인 AI 도구를 사용하는 현상은 ‘섀도우 AI‘라는 새로운 시대를 열고 있으며, 이는 신뢰할 수 있는 도구 구현이 시급한 점을 강조합니다.”라고 말했습니다.

AI의 선구자로서 데이터와 보안을 다루는 CIO

승인된 전사적 AI 전략과 도구의 도입이 더딘 이유는 CIO가 먼저 해결해야 할 준비 작업에 집중하고 있기 때문입니다.

AI의 혁신적 특성을 고려할 때, CIO의 67%는 다른 기술보다 훨씬 신중하게 AI를 도입하고 있다고 말합니다. CIO가 AI를 도입할 때 고려해야 할 과제는 많지만, 그중에서도 보안과 데이터에 관련된 문제가 가장 흔한 장애물로 꼽힙니다.

보안 문제는 강력한 보안 인프라와 윤리 및 신뢰성 보호 장치를 갖춘 공급업체를 선택하면 일정 부분 해결할 수 있습니다. 하지만 AI의 기반이 되는 데이터가 최신이며, 고품질이고 쉽게 접근할 수 있도록 유지하는 일은 훨씬 더 어려운 과제로, 업계 전반의 여러 인터뷰 참여자들이 공통으로 강조한 부분입니다.

“AI 구현의 가장 큰 장벽은 데이터 접근성입니다.

또한 레거시 시스템과 오래된 인프라는 AI 의 효율성을 저해할 수 있습니다.”

– 미국 제조업 CIO

“우리는 기본적으로 데이터 교환을 지원하지 않는 오래된 데이터 센터와 레거시 시스템이 많습니다.”

– 이탈리아 금융 서비스 업계 CIO

“우리의 데이터에는 신뢰할 수 있는 단일 소스가 부족하고, 시의적절하지 않습니다.”

– 인도 소매업 CIO

AI를 완전히 수용하기에 앞서 우선 데이터를 정리해야 한다는 점을 인식한 CIO들은 현재 데이터 이니셔티브(data initiatives)에 평균 4배 더 많은 예산을 배정하고 있습니다.

“데이터 이니셔티브가 새로운 개념은 아니지만, 지금처럼 시급성과 우선순위가 높았던 적은 없습니다.”라고 Perez는 말했습니다. “제가 만나는 거의 모든 기업이 데이터를 통합하고, 접근성과 관련성을 보장하기 위해 자원을 재배치하고 있습니다.”

하지만 아직 기술 초기 단계인 만큼, CIO들은 AI에 얼마만큼의 예산을 배정해야 할지 확신을 가지고 못하고 있습니다. 실제로 47%만이 AI 이니셔티브에 적절한 예산을 할당했다고 확신하고 있습니다.

AI의 우선순위를 정하는 데 어려움을 겪는 CIO

데이터 기반을 강화하는 과제 외에도, 많은 CIO는 조직 전반에서 AI를 어디에, 어떻게 적용해야 할지 정의하는 데 어려움을 겪고 있습니다. 이는 특히 AI가 아직 생소하고, 여러 부서에서 AI에 대한 이해가 부족하거나 심지어 두려움을 가지기 때문에 그렇습니다.

“AI의 작동 방식에 대한 이해가 부족하고, 그로 인해 신뢰도 부족한 상황입니다.

지금까지는 신뢰를 심어줄 수 있는 사용 사례나 연구가 많지 않습니다.”

– 영국 건축·엔지니어링 및 건설업계 CIO

비즈니스의 특정 영역에서 AI 활용 사례가 더 뚜렷하게 보일 수 있지만, 그렇다고 해서 해당 부서들이 실제로 AI를 잘 받아들이거나 효과적으로 활용할 수 있는 것은 아닙니다. 예를 들어 CIO들은 고객 서비스 부서가 가장 많은 사용 사례를 보유하고 있지만 가장 소극적인 부서로 보고 있습니다. 반대로, 마케팅 부서는 AI 활용에 대한 열의는 높지만 기술 역량이나 준비 수준은 가장 낮은 편으로 평가합니다.

일부 CIO들은 AI의 비즈니스 가치, 도입 의지, 준비 수준 간의 불일치로 인해 조직 전체에 AI를 도입할 때보다 정교하고 세밀한 접근이 필요하다고 보고 있습니다. “리더는 조직 전반에 AI를 선보이고, AI가 업무를 방해하는 것이 아니라 오히려 도움이 된다는 점을 회의적인 직원들에게 입증할 특별한 기회를 가지고 있습니다. AI에 대한 신뢰와 확신을 이끌어내기 위해서는 직원들이 실제로 가치를 만들어낼 수 있도록 필요한 기술, 도구, 가이드라인을 갖추게 하는 효과적인 역량 강화가 중요합니다.”라고 세일즈포스 인더스트리 부문의 EVP 겸 GM인 Jeff Amann은 말합니다.

“AI는 모든 부서에 일괄 적용되는 일방적인 하향식 접근 방식이어서는 안 됩니다.

우리의 의도는 각 부서와 지역이 각자의 필요에 맞는 방식으로 AI 에서 기회와 가치를 발견하는 동시에

가능한 경우에 공통의 기술과 플랫폼을 활용하도록 하는 것입니다.”

– 프랑스 건축·엔지니어링 및 건설업계 CIO

이처럼 일부 CIO들은 AI의 효과를 증명하기 위해, 파일럿 프로젝트를 운영하는 것이 더 효과적이라고 보고 있습니다. 실제로 전체 응답자의 75%는 자기 조직이 AI 도입의 실험 단계에 있다고 응답했습니다.

“우리는 일부 기능이나 부서에서 AI를 도입하고 그 활용 방식과 정착 여부,

그리고 실제 효과를 관찰하며 실험하고 있습니다.”

– 인도 기술 산업 CIO

AI 교육을 위해 서로 의지하는 CIO

경영진이 AI가 비즈니스에 미치는 영향에 집중하는 가운데, CIO들은 경력 중 가장 큰 압박 속에서 AI 전략을 정의하고 실행해야 하는 역할을 맡고 있습니다. AI는 생소한 기술일 뿐만 아니라, 매우 빠른 속도로 발전하고 있는 기술이기도 합니다. 그 결과, CIO들은 빠르게 따라잡아야 할 상황에 놓여 있습니다.

“저를 포함해, 회사 전체적으로 AI에 대한 전문 지식이 충분하지 않습니다.”

– 네덜란드 금융 서비스 업계 CIO

하지만 CIO는 자신만 AI 지식이 부족한 것은 아니라는 점을 알고 있습니다. CIO 5명 중 3명 이상은 자신에게 기대되는 AI 전문성 수준이 비현실적이라고 느끼고 있는 반면, 동료가 더 잘 알고 있다고 생각하는 CIO는 9%에 불과했습니다.

빠르게 발전하는 기술에 대한 전문성을 키우기 위해, CIO는 분석 회사, 기술 공급업체, 기술 전문 미디어와 같은 친숙한 정보 출처에 의존하고 있습니다. 하지만 이들 중 가장 신뢰하는 정보원은 다른 기업의 동료 CIO들이며, 이는 세일즈포스의 CIO 역시 환영하는 흐름입니다. 세일즈포스의 CIO인 Perez는 지금이 지식을 공유하기에 완벽한 기회라고 말합니다. “오늘날의 CIO는 경력 내내 이처럼 중대한 기술 변화는 거의 경험해 보지 못했습니다. 우리는 모두 이 혁명을 실시간으로 헤쳐나가고 있으며, 성공적인 AI 기업뿐 아니라 성공적인 AI 경제를 만들어가기 위해 서로의 배움을 공유하는 것이 중요합니다.”