데이터 레이크하우스로 팀의 효율성을 높이는 방법

Salesforce

2024-05-17 4 분량

모든 기업은 제품을 더 빨리 출시하고 고객에게 더 많은 가치를 제공할 수 있는 방법을 찾고 있습니다. 데이터 레이크하우스는 이 두 가지를 모두 수행할 수 있습니다.

데이터 레이크하우스는 말만 들으면 고요한 휴양지처럼 들리지만, 사실은 효율성과 고객 만족도를 향상하는 열쇠가 될 수 있습니다.

기업의 데이터가 매년 기하급수적으로 늘어남에 따라 방대한 정보에서 최대의 가치를 창출할 방법을 찾는 것이 기업의 도전 과제가 되었습니다. 한 설문조사에 따르면, 기업의 95%가 비정형 데이터를 관리해야 할 필요성을 느낀다고 답했습니다. 이를 위해 단순한 시스템이 데이터 웨어하우스, 데이터 레이크를 거쳐 이제는 데이터 레이크하우스로 발전했습니다. 과연, 데이터 레이크하우스란 무엇일까요?

기업에서는 이를 통해 방대한 양의 데이터를 관리하고 신속하게 조치를 취할 수 있습니다. CIO가 앱을 통합하고 워크플로를 간소화하며 효율성을 높이고자 할 때 데이터 레이크하우스는 수익에 지대한 영향을 미칠 수 있습니다.

데이터 아키텍처는 진화하고 있으며, 데이터 전략도 이에 맞춰 진화해야 합니다. 데이터가 비즈니스 속도를 결정하는 세상에서 데이터 레이크하우스는 비즈니스 인텔리전스(BI), 인공 지능(AI), 개인화 및 자동화 활동의 미래에 대비하는 데 도움이 됩니다. 데이터 레이크하우스를 사용하면 혁신을 저해하지 않고도 효율성을 높이고 비용을 절감할 수 있습니다.

데이터 레이크하우스란?

먼저, 데이터 레이크하우스의 발전 과정을 자세히 살펴보겠습니다:

데이터 웨어하우스는 이미 처리된 대량의 정보를 보관하는 데이터 저장소입니다.
데이터 레이크는 조직이 필요에 따라 사용하고 처리할 수 있는 원시 데이터 풀로, 데이터 사용 방식이 보다 유연합니다.
데이터 레이크하우스는 데이터 웨어하우스와 데이터 레이크 기술의 장점을 결합하는 동시에 그 한계를 극복합니다. 따라서 비즈니스는 데이터의 형식이나 양과 관계없이 모든 데이터에서 인사이트를 훨씬 빠르고 쉽게 추출할 수 있습니다.

원래 데이터 웨어하우스는 정형 데이터(예: 숫자 표와 같이 정리된 콘텐츠)에 비즈니스 인텔리전스를 적용하는 데 커다란 강점을 보였습니다. 하지만 다른 기록 시스템에서 데이터를 가져오려면 시간이 오래 걸리는 ETL(추출, 변환, 로드) 도구가 필요했습니다.

데이터 레이크는 조직이 사용하고자 하는 방대한(그리고 계속 증가하는) 비정형 데이터(예: 소셜 미디어 게시물, 센서 로그, 모바일 좌표와 같은 정리되지 않은 데이터)를 캡처하기 위해 개발되었습니다. 하지만 유용한 인사이트를 추출하려면 값비싼 데이터 과학 리소스가 필요한 경우가 많고 보안 및 규정 준수 문제가 발생할 수 있습니다.

그렇다면, 핵심 질문으로 다시 돌아가 보겠습니다. 데이터 레이크하우스란 무엇일까요? 데이터 레이크하우스는 데이터 레이크의 경제적이고 유연한 스토리지와 웨어하우스의 데이터 관리, 스키마, 거버넌스를 결합하여 레이크와 웨어하우스 사이의 장벽을 제거합니다.

어떤 데이터 레이크하우스는 “제로 카피 원칙”을 적용하여 IT 팀에게 데이터 사본을 사용하지 않고 번거로운 ETL 도구 없이도 컴퓨팅 성능을 개선할 수 있는 장점을 제공합니다. 그 결과, 데이터 관리 뿐만 아니라 데이터에서 인사이트와 가치를 신속하게 확보하는 데 드는 시간과 노력, 비용, 지연 시간을 줄일 수 있습니다.

지금 당장 데이터 레이크하우스가 필요한 이유는 무엇인가요?

비즈니스는 매일 수십만 건의 상호 작용에서 생성되는 페타바이트 규모의 데이터와 같이 점점 더 많은 양의 고객 데이터를 관리해야 합니다. 이러한 문제를 해결하기 위해 이들이 다양한 솔루션에 투자한 것은 당연합니다. 평균 976가지의 서로 다른 애플리케이션이 고객을 추적하는 데 사용됩니다.

하지만 이런 애플리케이션은 기업 내에서 데이터 사일로를 만들어낼 수 있습니다. 고객 데이터가 단 하나면 충분한데 976개의 버전이 생성될 수 있다는 뜻입니다.

데이터 레이크하우스는 바로 이러한 문제를 해결합니다. 이를 위해 CIO에게 이 모든 데이터를 처리하는 데 필요한 규모와 유연성, 이를 체계적으로 관리할 수 있는 구조와 스키마를 제공합니다.

이것은 빈말이 아닙니다. 데이터 레이크하우스는 기업의 수익에 실질적인 영향을 미치고, 사일로를 줄이고, 운영 효율을 높일 수 있습니다. 이러한 사안들은 IT 및 비즈니스 의사결정자가 해결하고자 하는 핵심 관심사입니다. 모든 기업이 제품을 더 빨리 출시하고 고객에게 더 많은 가치를 제공할 방법을 찾고 있습니다. 데이터 레이크하우스는 이 두 가지를 모두 수행할 수 있습니다.

무엇보다도 데이터 레이크하우스는 비용을 절감하고, 개발자 백로그를 줄이며, 효율성을 높여 적은 비용으로 더 많은 일을 할 수 있도록 도와줍니다. 컴퓨팅과 스토리지를 분리함으로써 비즈니스는 컴퓨팅 성능을 강화할 필요 없이 스토리지를 쉽게 추가할 수 있습니다.

이는 데이터 저장에 드는 비용을 낮춰서 애널리틱스 작업을 확장할 수 있는 매우 비용 효율적인 방법입니다.

데이터 솔루션에 대한 기존 투자는 모두 어떻게 되나요?

기존 솔루션은 그대로 사용할 수 있습니다. 데이터 레이크하우스를 도입할 때 “전부 들어내고 교체”할 필요가 없습니다.

데이터 레이크하우스는 개방형 데이터 프로토콜 덕분에 자사 광고 데이터, 비즈니스 인텔리전스(BI) 도구, 독점 AI 모델 등, 어떤 데이터를 가져와도 기존 앱 및 시스템과 쉽게 통합할 수 있습니다. 그런 다음, 많은 관리가 필요한 오래된 데이터 관리 도구를 일정에 맞게 단계적으로 없앨 수 있습니다.

다른 강력한 기술과 마찬가지로, 데이터 레이크하우스는 비즈니스 요구 사항의 변화에 대응해야 하며 틀에 갇혀서는 안 됩니다.

데이터 레이크하우스 101

데이터 레이크하우스 기술을 기반으로 하여 구축된 고객 데이터 플랫폼인 Salesforce Data Cloud의 기본 사항을 살펴보세요. 이 트레일은 Salesforce Data Cloud를 명확하게 설명해 주는 유용한 가이드입니다.

시작하기

보안과 규정 준수는 어떻게 되나요?

비즈니스는 적절한 데이터 레이크하우스를 통해 혁신의 속도를 늦추지 않고 데이터 거버넌스와 규정 준수를 대폭 간소화할 수 있습니다. IT 및 비즈니스 조정 지표에 따르면, 오늘날 많은 IT 및 비즈니스 리더가 이를 가장 큰 우려 사항으로 꼽았습니다.

데이터 레이크하우스는 데이터 관리를 위한 여러 시스템을 하나의 플랫폼으로 통합하여, 시스템 사이에 분산된 데이터의 양을 줄이고 데이터가 이동하는 경로를 단축할 수 있습니다. 레이크하우스의 표준화된 개방형 스키마 덕분에 보안, 권한 수준 등을 더 효과적으로 제어할 수 있습니다.

실무에서는 어떻게 사용될까요? CIO와 IT 리더가 역할 기반 액세스를 구현함으로써, 마케팅 팀은 세분화 데이터에만 액세스하고 상거래 팀은 주문 데이터에만 액세스하도록 하는 등의 작업을 수행할 수 있습니다. 또한 누가, 어디에서, 어떤 역할로 레이크하우스에 데이터를 요청하는지 감사할 수 있습니다.

데이터를 사용하여 비즈니스의 모든 영역에서 즉시 운영을 개선한다고 상상해 보세요. 예를 들면 다음과 같습니다.