Salesforce의 신뢰할 수 있는 AI

AI의 기술적 역량만 제공하는 것으로는 충분하지 않습니다. AI가 모두에게 안전하고 포용적이도록 보장하는 것 또한 Salesforce의 중요한 책임입니다. 그렇기 때문에 Salesforce Trust Layer를 구축했습니다. Trust Layer는 데이터의 정보와 보안을 보호하고, AI가 생성한 결과의 안전성과 정확성을 개선하며, Salesforce 에코시스템 전반에 걸쳐 AI의 책임감 있는 사용을 촉진하는 강력한 기능과 가드레일 세트입니다.

Salesforce는 신뢰, 고객 성공, 혁신, 평등, 지속 가능성이라는 다섯 가지 핵심 가치를 바탕으로 운영됩니다. 또한 Salesforce는 윤리적 및 인간적 사용 사무국의 주도 아래, 기술을 책임감 있게 개발하고 도입하는 데 깊이 전념하고 있습니다.

세상을 더 나은 방향으로 변화시킬 큰 잠재력을 지닌 신기술 중 하나는 인공 지능(AI)입니다. AI는 인간의 지능을 보완하고 역량을 확장하며, 직원, 고객, 파트너가 더 나은 성과를 달성할 수 있도록 실행 가능한 인사이트를 제공합니다.

우리는 AI의 혜택을 모든 사람이 누릴 수 있어야 한다고 믿습니다. 하지만 AI의 기술적 역량만 제공하는 것으로는 충분하지 않습니다. AI가 모두에게 안전하고 포용적이도록 보장하는 것은 Salesforce의 중요한 책임입니다. Salesforce는 이러한 책임을 매우 중요하게 여기며, 직원, 고객, 파트너가 AI를 안전하고 정확하며 윤리적으로 개발하고 사용할 수 있도록 필요한 도구를 제공하는 데 전념하고 있습니다.

그렇기 때문에 Salesforce Trust Layer를 구축했습니다. Trust Layer는 Salesforce의 모든 AI 상호작용이 안전하고, 개인정보가 보호되며, 정확하고, 우리의 가치에 부합하는 윤리적 기준을 준수하도록 보장하는 아키텍처 기반이자 기술적 가드레일 세트입니다.

2018년 Salesforce는 신뢰할 수 있는 AI의 원칙을 수립하기 시작했으며, 이러한 원칙이 Salesforce의 제품, 사용 사례, 고객에 맞게 구체화되도록 하는 것을 목표로 했습니다. 이를 위해 엔지니어링, 제품 개발, UX, 데이터 과학, 법무, 평등, 대외협력, 마케팅 등 모든 조직에서 개인 기여자, 관리자, 임원을 대상으로 의견을 수렴하는 1년에 걸친 과정을 거쳤습니다. 각 클라우드 조직과 다양한 직무의 임원이 당시 공동 CEO였던 Marc Benioff와 Keith Block을 비롯해 이러한 원칙을 승인했습니다. 윤리적 AI 성숙도 모델 에서 설명하듯이, 이러한 과정은 길게 느껴질 수 있지만, 회사의 모든 구성원이 원칙 수립에 기여하고, 이를 실천할 책임을 이해하며, 일상 업무에서 이를 구현하는 데 동의하도록 하는 중요한 형성 과정입니다.

Salesforce는 인권을 보호하고, 고객이 맡긴 데이터를 안전하게 보호하며, 과학적 기준을 준수하고, 오용을 방지하기 위한 정책을 시행하기 위해 노력합니다. 또한 고객이 AI를 책임감 있게 사용하고, Salesforce의 수용 가능한 사용 정책 을 포함한 Salesforce와의 계약을 준수하기를 기대합니다.

Salesforce는 고객, 파트너, 그리고 사회에 대해 책임을 다하는 것이 중요하다고 믿습니다. 또한 우리의 관행과 정책을 지속적으로 개선하기 위해 독립적인 의견을 적극 수렴하고, 고객과 소비자에게 발생할 수 있는 피해를 줄이기 위해 노력합니다.

Salesforce는 고객이 AI 기반 권장 사항과 예측의 근거를 이해할 수 있도록 노력합니다. 이를 통해 고객이 충분한 정보를 바탕으로 의사결정을 내리고, 의도하지 않은 결과를 식별하며, 발생할 수 있는 피해를 완화할 수 있도록 지원합니다.

Salesforce는 AI가 인간의 역량과 함께 활용될 때 가장 큰 효과를 발휘하며, 사람의 능력을 보완하고 더 나은 의사결정을 내릴 수 있도록 지원한다고 믿습니다. 또한 모든 사람이 더욱 생산적으로 일하고 조직 내에서 더 큰 영향력을 발휘할 수 있도록 지원하는 기술을 만드는 것을 목표로 합니다.

AI는 개발자의 가치만 반영하는 것이 아니라, 그 영향을 받는 모든 사람의 가치를 반영하여 인간의 삶을 더 나은 방향으로 발전시켜야 합니다. 우리는 AI를 통해 다양성을 증진하고, 평등을 촉진하며, 형평성을 실현하기 위해 노력합니다.

원칙을 마련하는 것만으로는 충분하지 않습니다. AI의 잠재력이 기하급수적으로 커지는 만큼, AI의 활용이 모두에게 안전하고 포용적이도록 보장해야 할 책임 또한 더욱 중요해지고 있습니다. 다음은 Salesforce가 신뢰할 수 있는 AI 원칙을 실제로 어떻게 구현하고 있는지 보여주는 사례입니다.

AI 기능을 개발하기 전에 무엇을 할 수 있는가뿐만 아니라 무엇을 해야 하는가를 먼저 고민합니다. Salesforce는 외부 인권 전문가들과 협력하여 지속적으로 배우고 발전하며, 인권을 보호할 수 있는 새로운 방법을 모색합니다.

또한 고객이 AI를 책임감 있게 활용하는 방법에 대해 충분한 정보를 바탕으로 의사결정을 내릴 수 있도록 교육하고 지원합니다. 이를 위해 Salesforce 직원, 고객, 파트너가 구축하고 사용하는 시스템에서 편향을 식별하고 완화할 수 있도록 다양한 도구와 리소스를 제공합니다. 예를 들어, 모델에서 보호 대상 데이터 범주와 대리 변수가 사용되는 경우 이를 표시하고, 개별 예측에 가장 큰 영향을 미치는 요인을 투명하게 제공함으로써 고객과 파트너가 AI를 안전하고 신뢰할 수 있는 방식으로 도입할 책임을 이해하도록 지원합니다.

또한 의도하지 않은 피해를 사전에 예측하고 완화하며, 제품의 안전성을 유지하기 위해 최고 수준의 보안 및 개인정보 보호 관행을 준수합니다. 우리는 AI 연구 및 활용에 적용되는 관련 법률을 준수합니다. 아울러 연구에서 최고 수준의 과학적·품질 기준을 충족하기 위해 노력하며, 연구의 안전성을 확보하고 동료 심사 논문, 학술대회, 산업 행사 등을 통해 그 성과를 공유합니다.

Salesforce는 윤리적 활용 자문위원회와 워크숍을 통해 외부 인권 및 기술 윤리 전문가들과 협력합니다. 또한 고객 자문 위원회와 열린 대화를 통해 고객의 의견을 적극적으로 수렴하고, 이를 검토 및 의사결정 과정에 반영합니다.

Salesforce는 업계 및 사회에 기여하는 것이 중요하다고 믿으며, 업계 단체, 시민사회 포럼, 정부 기관(예: 미국 국립표준기술연구소, 미국 국가 AI 자문위원회, 싱가포르 AI 및 데이터 윤리적 활용 자문위원회)과 협력하여 우리의 관행과 정책을 지속적으로 개선합니다.

또한 익명 온라인 기업 보고 및 거버넌스 시스템, Slack 채널, 그룹 이메일 주소 등의 채널을 통해 직원들이 질문을 제기하거나 우려 사항을 전달할 수 있도록 지원합니다.

투명성은 모델을 어떻게 구축하는지뿐만 아니라, 모델이 특정 예측이나 권장 사항을 수행한 이유를 설명하는 것까지 포함합니다. Salesforce는 모델 개발 방법, 의도된 사용 사례와 의도되지 않은 사용 사례, 알려진 윤리적 또는 사회적 영향, 성능 점수 등을 설명하는 모델 카드를 제공합니다. 또한 AI가 예측이나 권장 사항을 수행할 경우 모델 설명 가능성을 제공합니다.

Salesforce는 고객이 언제나 자신의 데이터와 모델을 직접 관리하고 통제할 수 있도록 지원합니다. 우리가 관리하는 데이터의 소유권은 Salesforce가 아닌 고객에게 있습니다. 또한 Salesforce의 AI 기능에 대한 이용 약관과 의도된 활용 방안을 고객에게 명확하게 공개합니다.

Salesforce는 AI의 복잡성을 줄여, 고급 데이터 과학자뿐만 아니라 모든 수준의 기술 역량을 갖춘 사용자가 코드를 작성하지 않고 클릭만으로 AI 애플리케이션을 구축할 수 있도록 노력합니다. 또한 누구나 4차 산업혁명 시대의 일자리에 필요한 역량을 갖출 수 있도록 Trailhead를 통해 무료 AI 교육을 제공합니다. 여기에는 이질적 영향을 측정하는 도구, 모델 카드(모델의 영양 성분표와 같은 역할)를 자동으로 생성하는 기능, 그리고 고객이 AI를 책임감 있게 사용할 수 있도록 애플리케이션 내에서 제공되는 안내 기능 등이 포함됩니다.

Salesforce AI 팀은 새로운 제품 범주를 이끌 연구 성과를 창출하고, 고객이 기술 발전의 최전선에 설 수 있도록 AI 연구 혁신을 제공하는 데 전념하고 있습니다.

Salesforce는 모델의 사용 목적에 가장 적합한 다양하고 대표성 있는 데이터 세트를 사용하여 모델을 테스트합니다. 또한 다양한 고객, 최종 사용자, 그리고 여러 활용 환경에서 AI 서비스가 미치는 영향을 이해하기 위해 노력합니다. 이를 위해 영향 분석 워크숍과 의도를 반영한 설계 워크숍 을 운영합니다. 아울러 평등이라는 핵심 가치 에 따라, Salesforce는 다양한 경험과 관점을 반영하는 포용적인 팀을 구축하기 위해 노력합니다.

Salesforce Trust Layer는 포괄적인 보호 기능을 플랫폼 아키텍처에 직접 내장하여 데이터 보안, 규제 준수, 윤리적 거버넌스와 같은 기업의 핵심 요구 사항을 해결합니다. 이는 강력한 성능과 본질적인 신뢰성을 모두 갖춘 AI를 필요로 하는 기업의 요구에 대한 해답입니다.

Trust Layer는 Salesforce의 윤리 원칙을 기술적으로 구현하는 기반으로, 강력한 기능과 가드레일 세트로 구성되어 있습니다. 또한 생성형 AI와 관련된 위험을 사전에 완화하도록 설계되었으며, 데이터의 개인정보 보호와 보안을 강화하는 동시에 AI가 생성한 결과의 안전성과 정확성을 향상시킵니다. 이 아키텍처는 신뢰에 대한 Salesforce의 약속을 단순한 정책 선언에 그치지 않고, 플랫폼 전반에 걸쳐 실제로 구현되는 기능으로 실현합니다.

안전하고 정확한 AI 출력의 기반은 동적 그라운딩과 안전한 데이터 검색입니다. 신뢰할 수 있는 AI는 안전하게 그라운딩된 프롬프트에서 시작됩니다. 프롬프트는 유용한 결과를 얻기 위해 대규모 언어 모델(LLM)에 전달하는 일련의 지침입니다. 동적 그라운딩은 LLM을 Data 360 또는 내부 기술 자료에 저장된 기업 데이터와 안전하게 연결하고, 검증된 정보를 동적으로 검색합니다. 이를 통해 모델이 고객이 승인한 신뢰할 수 있는 출처를 인용하고 활용하도록 함으로써 LLM의 ‘환각’ 발생을 방지합니다. 안전한 데이터 검색은 사용자가 권한 및 데이터 액세스 제어 기능을 유지하면서 안전하게 데이터에 액세스하여 비즈니스의 맥락에서 생성형 AI 프롬프트를 그라운딩할 수 있게 합니다.

무엇보다도 Trust Layer는 고객 데이터의 최고 수준의 보안과 개인정보 보호를 보장하기 위해 제로 데이터 보존과 데이터 마스킹을 구현합니다. 제로 데이터 보존은 프롬프트와 생성된 응답을 저장하거나 기반이 되는 타사 대규모 언어 모델을 학습시키는 데 사용하지 않는 엄격한 정책입니다. 이를 통해 데이터는 전적으로 고객의 자산으로 유지됩니다. 또한 데이터 마스킹은 프롬프트를 LLM에 전송하기 전에 민감한 개인 식별 정보(PII)나 독점적인 비즈니스 데이터를 식별할 수 없는 토큰으로 대체하는 과정입니다. 이를 통해 기밀 정보를 보호하는 동시에, LLM이 개인화되고 유용한 응답을 생성하는 데 필요한 맥락은 그대로 제공합니다.

안전성을 유지하고 윤리적인 사용을 보장하기 위해 Trust Layer에는 유해성 감지와 보안 가드레일이 포함되어 있습니다. 이러한 기능은 생성된 콘텐츠가 안전하고 적절하며, 기업 정책과 윤리 기준에 부합하도록 지속적으로 모니터링하고 필터링합니다. 유해성 감지는 고도화된 분류 모델을 활용하여 생성된 콘텐츠를 실시간으로 분석하고, 혐오 표현, 편향, 괴롭힘 또는 기타 정책 위반 징후를 분류합니다. 유해한 콘텐츠가 감지되면 콘텐츠 필터링 기능이 해당 출력을 최종 사용자에게 표시하기 전에 자동으로 필터링하거나 차단하거나 표시하여, 모두에게 더욱 안전하고 포용적인 사용 환경을 제공합니다.

Salesforce는 AI와 같은 첨단 기술의 윤리적 활용이 점점 더 복잡한 과제가 되고 있다고 믿습니다. 이 문제는 Salesforce뿐만 아니라 업계 전체가 함께 명확하게 다루어야 합니다. 우리는 직원, 고객, 파트너, 커뮤니티가 함께 참여하는 다양한 이해관계자 간의 열린 대화를 환영합니다.

새롭게 등장하는 과제를 함께 해결하고, 이러한 새로운 기술 발전에 다양한 경험과 관점을 반영함으로써, 우리는 AI의 힘으로 긍정적인 변화를 이끌고, 인간의 잠재력을 최대한 발휘할 수 있는 관점을 바탕으로 AI의 발전을 이끌어 나갈 수 있습니다.