『Agentic AI 시대, 조직을 움직이는 새로운 엔진』 북토크 현장

지난 8월 25일, 세일즈포스 코리아에서 특별한 북토크가 열렸습니다. 세일즈포스 김평호 본부장, 문준식 본부장, 그리고 KUSRC 김현조 대표가 공동으로 집필한 『Agentic AI 시대 조직을 움직이는 새로운 엔진』 출간을 기념하는 자리였는데요. 이건희 영업 대표의 진행과 함께 AI 에이전트 시대의 비즈니스 변화와 세일즈포스의 에이전트포스에 대한 심도 깊은 이야기가 펼쳐졌습니다.

(좌로부터 문준식님, 김평호님, 김현조님, 이건희님)

책 출간 배경

Q. 서로 다른 분야의 전문가 세 분이 어떻게 함께 책을 쓰게 되셨나요?

김평호: 작년 드림포스(Dreamforce)에서 돌아오는 비행기에서 ‘세상이 에이전트로 많이 바뀌겠구나’라는 생각을 하게 되었습니다. 그때 책을 써야겠다는 막연한 생각을 했죠. 가장 먼저 떠올린 분이 문준식 본부장님이었는데, 처음엔 힘들 것 같다고 하시더라고요. (웃음) 의미 부여를 위해 “아빠가 책을 쓴 저자로 포지셔닝되면 좋지 않겠냐”고 설득했습니다. 김현조: 저도 재작년 TDX를 다녀온 후 비행기에서 ‘이거 큰일 났다, 다 굶어 죽겠다’는 위기감을 느꼈습니다. 논문도 써봤지만 산업과는 거리가 멀어서 실용적인 책을 꼭 써봐야겠다고 생각하고 있었어요. 마침 김평호 본부장님께서 제안해주셔서 함께하게 되었습니다. 문준식: 김평호 님의 리더십에 이끌려 어쩌다 보니까 주말을 반납하며 책을 쓰게 되었습니다. (웃음) “두 장 썼냐”는 채찍질을 받아가며 공동 저자 이름까지 올리게 되어 뿌듯합니다.

📚 책의 전체 구성 제1부 FUTURE IS HERE 제2부 생성형 AI와 비즈니스 혁신 제3부 AI 에이전트의 최종 지향점 제4부 에이전트포스 아키텍처의 개요와 핵심 구성 제5부 실시간 지능과 추론 아키텍처 제6부 실행 보안 및 신뢰 아키텍처 제7부 산업별 에이전트포스 활용 사례와 국내외 실제 적용 사례 제8부 최신 생성형 AI 트렌드와 세일즈포스 에이전트포스의 기술 매핑 부록 LLM 보안 체크리스트 및 산업별 가이드라인

역사적 관점으로 바라본 AI 혁신의 본질

Q. 책의 첫 부분에서 AI 혁신을 역사적 사건들과 연결해서 설명하셨는데, 특히 러다이트 운동과 포디즘을 언급한 이유가 궁금합니다.

문준식: 챕터 1을 쓸 때 몇 가지 테마가 있었어요. 첫 번째는 역사적 사실을 기반으로 해서 미래를 예측하는 것 – 그래서 ‘퓨처 이즈 히어(Future is Here)’라고 적은 이유도 역사적 사실이 반복될 것이라는 믿음 때문입니다.

러다이트 운동과 헨리 포드의 포디즘을 비교한 핵심 이유는 기술 혁신에 대한 대응 방식의 차이를 보여주기 위해서였습니다.

헨리 포드는 분업화를 통해 400-500배의 생산성 혁신을 가져왔고, 실제로 직원들의 임금과 복지도 향상시켰습니다. 반면 러다이트 운동은 기계를 부수고 새로운 혁신 기술에 저항하는 운동이었는데, 결과적으로는 아무런 생산성 혁신이나 기억에 남는 것 없이 사라져 버렸죠.

이런 혁신에 대한 수용과 거부의 차이가 AI 시대에도 동일하게 적용될 것이고, 특히 분업과 협업이라는 측면에서 포디즘의 원리가 AI 에이전트에 그대로 적용된다고 생각합니다.

AI 기술의 발전 과정과 인간의 역할

Q: 가장 많이 받는 질문 중 하나가 바로 “AI로 인해 일자리가 사라지는가?”입니다. AI로 인해 사람의 일자리가 사라질까요?

김현조: 이 질문에 대답하기 위해서는 우선 AI의 기술적 원리를 이해해야 합니다. 2017년 구글의 “Attention is All You Need” 논문이 트랜스포머 아키텍처의 시작점이었습니다. 간단히 말하면, “강아지가 밥을 ○○다”에서 다음 단어를 확률적으로 맞추는 것이 생성형 AI의 기본 원리예요.

그런데 우리는 이게 너무나 놀랍고 잘 돌아가는 것처럼 느끼지만, 사실 이건 이해하는 게 아니라 그냥 다음 단어를 알아맞추는 거예요. 이해하는 것처럼 느끼게 하기 위해서는 정렬(Alignment)이라는 게 필요하고, 여기서 RLHF(Reinforcement Learning from Human Feedback)라는 개념이 등장합니다.

쉽게 말해서, 대규모로 사람을 고용해서 AI의 답변 중 좋은 것에는 보상을, 잘못된 것에는 페널티를 주는 방식으로 훈련합니다.

즉, 현재의 AI 모델들도 인간의 피드백과 개입이 있었기 때문에 탄생할 수 있었고, 에이전트포스 같은 서비스에서도 회사 데이터를 그라운딩할 때 지속적인 인간의 피드백이 필요합니다. 결국 AI 시대에는 오히려 사람만이 할 수 있는 영역의 중요성이 더욱 커진다는 것이 핵심입니다.

AI의 속성과 생성형 AI시대의 새로운 과제

Q: 책에서 기업에서 AI를 도입할 때 검증이 더 어려워졌다고 하셨는데, 구체적으로 어떤 점이 복잡해졌나요?

김현조: AI에는 두 가지 핵심 속성이 있습니다. 첫 번째는 적응성(Adaptability)인데, 이는 각 회사에 맞는 데이터를 넣는 것, 즉 RAG(Retrieval-Augmented Generation)로 이해하시면 됩니다. RAG에 따라 AI가 회사마다 다르게 변화하는 것이 적응성입니다.

두 번째는 자율성(Autonomy)인데, 이는 더 복잡한 개념입니다. 입력에 대한 결과가 나오는데 그 결과가 왜 나오는지 명확히 알 수 없다는 것입니다. 예를 들어 자율주행차가 좌회전을 했는데 왜 좌회전했는지 정확한 이유를 설명하기 어려운 것과 같습니다.

과거에는 소프트웨어를 도입할 때 신뢰성(Reliability)만 고려하면 되었습니다. 1+2=3 같은 단순한 계산은 검증이 쉬웠죠. 하지만 현재는 보안성(Security)까지 동시에 고려해야 합니다.

두 수를 더하는데 “1에서 100 사이의 정수여야 한다”는 조건이 있다고 가정해봅시다. 그런데 누군가 음수나 100보다 큰 수를 입력하면 예상치 못한 결과가 나오죠. 이것이 바로 해킹입니다. 해킹은 내가 명세한 것에서 벗어나는 입력을 했을 때 예상치 못한 결과를 내보내는 것입니다.

여기에 AI가 등장하면서 자율성이 추가됩니다. 결과가 왜 나오는지 모르는 상황이죠. 그리고 적응성 때문에 같은 솔루션이라도 회사 데이터마다 다르게 동작하므로 검증이 극도로 어려워집니다.

그래서 현장에서 “정확도가 몇 퍼센트입니까?”라고 질문받을 때 답변하기 곤란한 이유가 바로 이 때문입니다. 이는 최근에 등장한 이슈이기 때문에 인류가 함께 해결해 나가야 할 숙제라고 할 수 있습니다.

AI 에이전트 ROI의 현실적 접근

Q. AI 에이전트 도입의 ROI를 어떻게 계산해야 하나요? 많은 기업들이 가장 궁금해하는 부분일 것 같습니다.

김평호: 에이전트 기술 자체가 아직 성숙하고 있는 단계이기 때문에 회사에 어떤 변화를 일으킬지에 대해서는 다양한 얘기가 많아요.

2025년 CES에서 젠슨 황이 언급한 에이전트 발전 단계를 참고했는데, 앞으로는 피지컬 AI로 가는 과정에서 에이전트 AI가 중간 단계에 있습니다. 회사에는 AI가 사람을 빗댄 캐릭터로 존재하게 될 거예요. 상담원 역할을 하는 에이전트도 있고, 세일즈포스의 Sophie 같은 다양한 에이전트들이 실제 직원들과 함께 일하게 됩니다.

ROI의 핵심은 프로세스 전체의 자동화입니다. 현재 대부분의 AI 에이전트 PoC는 단순 지식 검색 수준에 머물러 있어요. RAG로 검색해주고 “실행은 니가 해”라고 하는 건 진짜 에이전트가 아닙니다. 에이전트는 일을 맡기면 끝까지 다 해야 하는 거죠.

예를 들어 마케팅 에이전트가 마케팅 오퍼레이션 업무를 30% 줄였다면, 그 30% 시간을 브랜드 마케팅 같은 더 가치 있는 일에 재활용했을 때의 가치를 ROI 계산에 포함시켜야 합니다. 이게 쉽지는 않지만 많은 분들이 연구해야 할 부분입니다.

Q: AI 에이전트 ROI를 설명할 때 프로세스 전체를 자동화해야 한다고 하셨는데, 그렇다면 에이전트가 더 많은 업무를 담당하게 될 텐데 신뢰성은 어떻게 보장할 수 있을까요?

김평호: 에이전트 컴퍼니가 된다는 것은 많은 일을 에이전트가 대신하게 된다는 뜻입니다. 하지만 에이전트는 불완전한 존재예요. 1+1을 3이라고 할 수도 있고, 답변 중 일부가 거짓일 수 있기 때문에 AI 거버넌스가 굉장히 중요합니다.

중간중간에 휴먼 루프를 껴서 AI가 거짓말을 하거나 악성 의도를 가지고 회사 업무에 영향을 주는 것을 최소화해야 합니다.

저는 에이전트를 디지털 신입사원이라고 생각합니다. 신입사원에게 “이런 건 하면 안 돼”, “회사 보안을 외부에 누설하면 안 돼”라고 가르치듯이, AI에게도 동일한 거버넌스가 적용되어야 합니다.

책에서 영국 정부의 생성형 AI 프레임워크를 참고한 이유도 여기에 있어요. 가장 보수적인 집단인 정부에서도 이런 거버넌스 체계를 구축하고 있다는 점이 고객들에게 설득력을 줄 수 있습니다.

세일즈포스 에이전트포스의 기술적 차별점

Q. 세일즈포스의 핵심기술인 아틀라스 리즈닝 엔진은 무엇인가요?

문준식: AI는 근본적으로 사람을 미미킹(모방)하는 겁니다. 사람의 언어 습성이나 행동을 따라 하는 것이죠. 따라서 ROI 얘기도, 추론 엔진도 모든 게 이 관점에서 시작됩니다.

아까 “강아지가 밥을 먹는다”라고 답변하셨지만, 다음 단어의 연속으로만 해가지고는 진정한 추론 문제가 해결되지 않습니다. 그 답에 대해서 다시 한 번 의미를 해석해보고, 내가 원래 몰랐던 내용이지만 아는 내용을 결합해서 한 번 더 생각해보는 과정이 필요하거든요.

예전에는 체인 오브 소트(Chain of Thought)라고 해서 쭉 연속적으로 생각했다면, 지금은 리플렉션(Reflection)을 해서 상황에 맞춰 다시 수정하는 절차가 필요합니다. 사람의 뇌가 그렇잖아요. 간단하게 말하자면 사람의 뇌를 모방하려고 노력한 것이 아틀라스 리즈닝 엔진입니다.

Q. AI가 생성한 답변의 신뢰성은 어떻게 검증하나요?

김현조: 세일즈포스는 SFR Judge라는 시스템을 개발했습니다. 이는 아틀라스 리즈닝 엔진의 마지막 단계에서 동작하는 검증 모듈이에요. 생성형 AI는 본질적으로 다음 단어 하나를 예측하는 기술인데, 이렇게 나가는 답변의 정확성과 신뢰성을 검토하는 역할을 합니다.

판단 방식은 크게 세 가지입니다:

1. A와 B 답변 중 어느 것이 더 좋은지 비교
2. 점수화
3. 정답/오답으로 제로섬 구분

Q. 아틀라스 리즈닝 엔진이 세일즈포스 AI의 핵심 가치인가요?

문준식: 맞지만 완전히 정답은 아닙니다. 사람을 비유로 들면, 뛰어난 사고력을 가진 사람을 채용했는데 회사 업무를 배우는 데 시간이 오래 걸리고 다른 시스템과 연동이 안 된다면 ROI가 떨어지겠죠.

개인적으로 아틀라스 리즈닝 엔진은 대략 30% 정도의 가치를 설명할 수 있다고 답변드리겠습니다. 나머지 70%는 다음과 같은 요소들로 구성됩니다:

• 빠른 에이전트 온보딩: 플랫폼 차원에서의 신속한 도입
• 리스킬링과 업스킬링: 에이전트의 지속적 학습 능력
• 외부 연계: 필요시 외부 API와의 원활한 연동
• 통합 플랫폼: 개발부터 운영까지 원스톱 지원

Q: 세일즈포스만의 기술적 차별점은 구체적으로 뭐라고 설명할 수 있을까요?

김현조: 핵심은 LAM(Large Action Model)입니다. 이는 자연어 명령을 실제 시스템 동작으로 변환하는 기술이에요.

다른 AI 모델들도 자연어 입력을 받아서 자연어로 결과를 생성할 수는 있습니다. 하지만 이 자연어 결과를 가지고 세일즈포스의 플로우나 Apex 등을 실제로 실행하는 것은 전혀 다른 차원의 어려운 문제입니다.

이를 Function Calling이라고 하는데, 세일즈포스는 자체적으로 XLAM 패밀리 모델을 개발해서 이 문제를 해결했습니다. 이것이 아틀라스 리즈닝 엔진과 결합해서 동작한다는 점이 큰 차별화 요소입니다.

또한 에이전트포스 2DX라는 통합 플랫폼을 통해 아이디어 구상부터 개발, 운영, 배포까지 하나의 플랫폼에서 처리할 수 있다는 점도 중요한 가치입니다.

AI 보안과 운영 관리의 현실적 접근

Q. AI 에이전트의 보안 문제에 대해 어떻게 접근해야 할까요?

김평호: 세일즈포스 AI의 가장 큰 장점은 통합된 플랫폼 안에서 AI와 실행과 데이터가 모두 존재한다는 점입니다. AI를 도입하려는 기업이 마치 PC를 조립하듯 CPU부터 하나하나 구성할 필요 없이, 하나의 패키지로 모든 것을 해결할 수 있어요.

보안도 마찬가지입니다. AI가 발생시킬 수 있는 다양한 할루시네이션 문제, 데이터 개인정보 마스킹 문제 등을 미리 고려한 트러스트 레이어를 갖추고 있고, 커맨드 센터에서 실시간 모니터링과 재배치가 가능한 통합 스위트로 구성되어 있습니다.

문준식: 하지만 현실적으로 AI는 사람과 유사한 결함과 강점을 동시에 갖고 있다고 봐야 합니다. 사람도 거짓말하듯이, AI 에이전트는 사람을 미미킹한 것이기 때문에 트러스트 레이어로 싸고 가드레일을 아무리 심어도 삐져나갈 확률이 내재되어 있습니다. 이를 이해해야 해요.

따라서 거버넌스 체계가 필요한 겁니다. AI가 잘못된 정보를 제공했을 때 PR적으로도, 브랜드 가치 측면에서도 어떻게 대응할지까지 거버넌스 프레임워크에 포함시켜야 합니다.

Q: AI 보안 문제에서 트러스트 레이어만으로는 한계가 있다고 하셨는데, 그렇다면 실제 운영 관점에서 다른 벤더와 세일즈포스의 차별점은 무엇인가요?

김평호: 최근 고객들이 관심 있어 하는 포인트 중 하나가 AI DevOps입니다. AI를 테스트하고 재교육시켜서 재배치하고, AI 활동에 대한 지표들을 커멘드 센터에서 모니터링하는 것들이죠.

이런 부분들은 다른 벤더에서는 아직 크게 염두하고 있지 않고, 오픈소스로 AI를 구축하는 고객들의 경우 이런 운영 관점이 완전히 배제되어 있습니다. 이것이 저희의 중요한 차별화 요소입니다.

에이전트포스의 포지셔닝과 적용 영역

Q. 실제 활용 사례를 보면 어떤 산업에서 에이전트 도입이 활발하게 일어나고 있나요?

김평호: 산업별로 접근하기보다는 AI의 분류로 이해하는 것이 더 중요합니다. AI는 크게 세 가지 영역으로 나뉩니다.

첫 번째는 컨슈머 AI로, 소비자들이 사용하는 ChatGPT나 이미지 생성 서비스들이죠. 두 번째는 버티컬 AI로, 법률이나 라이프 사이언스 같은 특정 산업에 특화된 영역입니다. 세 번째가 엔터프라이즈 AI로, 일반적인 회사들이 가지고 있는 인사, 재무, CRM, 생산 등의 프로세스를 자동화하는 영역입니다.

세일즈포스의 에이전트포스는 명확하게 엔터프라이즈 AI에 포지셔닝되어 있습니다. 엔터프라이즈 AI를 하기에 굉장히 적합한 원플랫폼으로, 빠르게 도입해서 효과를 낼 수 있는 플랫폼이라고 할 수 있습니다.

Q. 그렇다면 AI 에이전트 적용에 적합한 업무 영역과 부적합한 영역이 있을까요?

문준식: AI 에이전트는 사람이 일하는 영역에 적합합니다. 사람이 일하는 영역인 CRM이나 인사 분야에서는 해석이 필요한 경우가 많아요. 예를 들어 “할머니”와 “조부모”를 같은 의미로 해석해서 보험 등록을 해주는 것이 맞는 영역이죠.

반대로 제조 현장처럼 이미 사람이 없고 정확한 로직이 필요한 곳에는 부적합합니다. 할머니와 조부모를 같은 의미로 해석하는 것이 사람 중심 업무에서는 도움이 되지만, 공장에서는 시스템 마비를 일으킬 수 있거든요.

사람이 하는 일이 이미 아닌 곳에 사람 비슷한, 특히 대형언어모델을 통한 추론 엔진을 갖고 있는 에이전트를 도입하면 오히려 오류가 많아집니다. 따라서 따라서 사람의 원리와 원칙이 통할 수 있는 업무 영역에서 에이전트의 효과가 극대화됩니다.

현장 전문가들의 마지막 조언

Q. 독자들에게 꼭 당부하고 싶은 말씀이 있다면?

김현조: 현장에 나가보면 컨설팅 펌들조차도 학습(Training), 파인튜닝(Fine-tuning), 그라운딩(Grounding)을 굉장히 혼동해서 사용합니다.

학습을 통해서 나온 결과물이 모델이고, 그 모델을 파인튜닝한 것도 모델입니다. 근데 이 둘은 엄청난 머니 게임이에요. 돈과 투자가 엄청나게 많이 들어가는 모델이죠.

우리는 모델을 쓰는 입장입니다. 모델을 쓸 때 각 고객사마다 가지고 있는 데이터로 도메인 특화된 그라운딩을 해서 결과를 내주는 솔루션이거든요. “우리가 재학습을 하면 더 잘 나올 겁니다”, “학습 데이터가 부족합니다”라고 하는 건 사실 잘못된 이해입니다. 이런 부분을 현장에서 잘 숙지하시면 좋겠습니다.

문준식: AI 에이전트는 사람과 매우 비슷하지만 디지털이라는 걸 잊어버리시면 안 됩니다. ROI든 추론 엔진이든 인간과 에이전트의 역할이든, 모든 걸 사람 기준으로 생각해보시면 많은 것들이 이해가 쉬워집니다.

본인의 ROI가 어느 정도인지 느껴지시는 분들은 “저 같은 사람을 에이전트화하면 이 정도 ROI가 나올 수 있습니다”라고 자신 있게 고객에게 말씀하셔도 됩니다. 결국 나와 거의 유사한 수준의 디지털 동료가 왔다고 생각하시고 판단하시면 됩니다.

이날 북토크는 AI 에이전트가 단순한 기술적 도구가 아닌, 조직 운영 방식을 근본적으로 바꿀 새로운 패러다임임을 명확히 보여주었습니다. 세 저자가 강조한 핵심 메시지는 완벽한 기술보다는 현실적이고 점진적인 접근의 중요성이었습니다.

🔑 핵심 메시지 정리

마지막으로 이번 북토크에서 다룬 주요 내용들을 정리해 보겠습니다.

1. AI 에이전트의 본질: 사람을 미미킹하는 디지털 동료로서, 사람의 한계(피로, 기억력 등)를 보완하는 역할

2. ROI의 현실적 접근: 단순 기능이 아닌 프로세스 전체 자동화를 통해 직원들이 더 가치 있는 업무에 집중할 수 있게 하는 것

3. 거버넌스의 중요성: 디지털 신입사원처럼 관리하되, 완벽하지 않다는 전제 하에 휴먼 루프와 모니터링 체계 구축

4. 기술적 차별화: 아틀라스 리즈닝 엔진, XLAM, 통합 플랫폼, AI DevOps까지 포함하는 엔드투엔드 솔루션

5. 적용 영역의 명확화: 사람의 원리가 통하는 엔터프라이즈 프로세스에 최적화되어 있으며, 물리적 제조 환경과는 다른 접근이 필요

AI 에이전트는 마법의 솔루션이 아닙니다. 하지만 올바른 이해와 현실적 기대, 그리고 적절한 거버넌스가 뒷받침된다면 조직을 움직이는 강력한 새로운 엔진이 될 수 있을 것입니다.

세 저자가 정성을 다 해 집필한 이 책이 AI 에이전트 시대를 준비하는 모든 기업과 실무진들에게 실질적인 가이드가 되기를 기대합니다.