{"id":15994,"date":"2020-10-23T12:42:00","date_gmt":"2023-06-06T12:42:17","guid":{"rendered":"https:\/\/www.salesforce.com\/?p=15994"},"modified":"2024-02-01T13:28:09","modified_gmt":"2024-02-01T13:28:09","slug":"data-warehouse-e-data-lake","status":"publish","type":"post","link":"https:\/\/www.salesforce.com\/br\/blog\/data-warehouse-e-data-lake\/","title":{"rendered":"Data Warehouse e Data Lake: o que s\u00e3o?"},"content":{"rendered":"\n

No contexto da transforma\u00e7\u00e3o digital<\/a> nas empresas, a intelig\u00eancia anal\u00edtica<\/strong> tornou-se um dos principais pilares da gest\u00e3o estrat\u00e9gica<\/strong>. Sobretudo na \u00faltima d\u00e9cada, a an\u00e1lise de big data<\/em> desenvolveu-se a fim de acompanhar as r\u00e1pidas mudan\u00e7as do mercado \u2013 ocasionadas, entre outros fen\u00f4menos, pelo crescimento das redes sociais<\/a>, do e-commerce<\/a> e da tecnologia mobile<\/em><\/a>.<\/p>\n\n\n\n

Encarregadas de gerenciar e analisar dados corporativos<\/a>, as equipes de big data<\/em> e analytics<\/em> buscam fomentar neg\u00f3cios competitivos e \u201c\u00e0 prova de futuro<\/a>\u201d. Para isso, contam com tecnologias<\/a> cada vez mais sofisticadas de armazenamento e processamento de dados<\/a>. Os data warehouses<\/em><\/strong> e <\/strong>data lakes<\/em><\/strong> est\u00e3o entre as op\u00e7\u00f5es mais populares nesse sentido, cada qual com uma arquitetura e finalidade espec\u00edfica.<\/p>\n\n\n\n

A partir desta introdu\u00e7\u00e3o, voc\u00ea ter\u00e1 insumos para iniciar ou aprimorar projetos de big data<\/em><\/a> na sua empresa, atendendo \u00e0s principais necessidades do seu neg\u00f3cio e derivando o m\u00e1ximo de valor dos dados coletados.<\/p>\n\n\n\n

Pronto para melhorar seus processos de gest\u00e3o de dados<\/strong>? Continue lendo e confira!<\/p>\n\n\n\n

LEIA TAMB\u00c9M: <\/strong>CDP: A evolu\u00e7\u00e3o do Marketing Digital<\/strong><\/a><\/p>\n\n\n\n

Classifica\u00e7\u00e3o e integra\u00e7\u00e3o de dados <\/strong><\/h2>\n\n\n\n

Antes de apresentarmos os data warehouses<\/em> e data lakes<\/em>, precisamos falar sobre as categorias de dados<\/strong> e sobre o ETL<\/strong>, principal processo de integra\u00e7\u00e3o de dados digitais. Acompanhe a seguir:<\/p>\n\n\n\n

Tipos de Dados <\/strong><\/h3>\n\n\n\n
\"\"\/\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button><\/figure>\n\n\n\n

Os dados dispon\u00edveis na web classificam-se em tr\u00eas categorias:<\/p>\n\n\n\n

Dados Estruturados<\/strong><\/p>\n\n\n\n

S\u00e3o dados formatados segundo par\u00e2metros espec\u00edficos, para organiza\u00e7\u00e3o em esquemas relacionais. Um dos principais formatos de dados estruturados s\u00e3o as tabelas, que os distribuem em linhas e colunas com valores pr\u00e9-determinados.<\/p>\n\n\n\n

Exemplos:<\/strong> planilhas eletr\u00f4nicas e bancos de dados (arquivos do Excel, CSV, SQL, JSON, entre outros).\u2265\u00f7<\/p>\n\n\n\n

Dados Semiestruturados<\/strong><\/p>\n\n\n\n

Como o nome indica, s\u00e3o dados com alguma organiza\u00e7\u00e3o interna, mas que n\u00e3o s\u00e3o inteiramente estruturados.<\/p>\n\n\n\n

Exemplos:<\/strong> arquivos da web (HTML, XML, OWL, entre outros).<\/p>\n\n\n\n

Dados N\u00e3o Estruturados<\/strong><\/p>\n\n\n\n

S\u00e3o dados sem uma organiza\u00e7\u00e3o ou hierarquia interna clara. \u00c9 a categoria mais ampla, abrangendo a maior parte dos dados na web.<\/p>\n\n\n\n

Exemplos: <\/strong>documentos de texto (arquivos do Word, PDFs), arquivos de m\u00eddia (imagem, \u00e1udio e v\u00eddeo), e-mails, mensagens de texto, dados de redes sociais, dispositivos m\u00f3veis, Internet das Coisas (IoT), entre outros.<\/p>\n\n\n\n

ETL <\/strong><\/h3>\n\n\n\n

Em ingl\u00eas, ETL <\/strong>\u00e9 um acr\u00f4nimo de Extract<\/em><\/strong> (Extrair), Transform<\/em><\/strong> (Transformar) e Load<\/em><\/strong> (Carregar).<\/p>\n\n\n\n

O ETL \u00e9 o m\u00e9todo mais tradicional de integra\u00e7\u00e3o de dados digitais, com cada termo da sigla designando uma etapa do processo. Observe o infogr\u00e1fico e leia mais abaixo:<\/p>\n\n\n\n

\"\"\/\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button><\/figure>\n\n\n\n

ETL: Como funciona o processo?<\/strong><\/p>\n\n\n\n

    \n
  1. Extra\u00e7\u00e3o (E)<\/strong>: nesta fase, os dados s\u00e3o coletados de diferentes sistemas organizacionais e conduzidos a um espa\u00e7o tempor\u00e1rio (staging area<\/em>), onde s\u00e3o convertidos em um mesmo formato para transforma\u00e7\u00e3o.<\/li>\n\n\n\n
  2. Transforma\u00e7\u00e3o (T)<\/strong>: os dados brutos s\u00e3o lapidados e padronizados conforme as necessidades da empresa. Ao fim desta etapa, os dados est\u00e3o \u201climpos\u201d, estruturados e prontos para armazenamento.<\/li>\n\n\n\n
  3. Carregamento (L)<\/strong>: os dados tratados s\u00e3o enviados a um reposit\u00f3rio espec\u00edfico, onde ser\u00e3o armazenados em seguran\u00e7a e acionados para consulta interna.<\/li>\n<\/ol>\n\n\n\n

    Desde o fim da d\u00e9cada de 70, quando se popularizou, o ETL realiza a estrutura\u00e7\u00e3o de dados para armazenamento em bancos como os data warehouses<\/em>. Vamos saber mais sobre estes reposit\u00f3rios?<\/p>\n\n\n\n

    Data Warehouse: o que \u00e9 e como utilizar? <\/strong><\/h2>\n\n\n\n

    Como literais \u201carmaz\u00e9ns de dados\u201d, os data warehouses<\/em> re\u00fanem dados hist\u00f3ricos para classifica\u00e7\u00e3o em blocos sem\u00e2nticos, chamados rela\u00e7\u00f5es. Por isso, o data warehouse<\/em> \u00e9 um banco de dados relacional<\/strong>, contendo principalmente dados estruturados<\/strong>.<\/p>\n\n\n\n

    Os dados do data warehouse<\/em> s\u00e3o distribu\u00eddos em subconjuntos chamados data marts<\/em><\/strong> (\u201cmercados de dados\u201d), que agilizam a recupera\u00e7\u00e3o e entrega de dados para times espec\u00edficos. Uma vez solicitados, os dados do data warehouse<\/em> s\u00e3o disponibilizados em modo de leitura, conforme a demanda dos analistas de big data<\/em> e BI.<\/p>\n\n\n\n

    \"\"\/\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button><\/figure>\n\n\n\n

    Unificados, livres de desvios e inconsist\u00eancias, os dados do data warehouse<\/em> rendem an\u00e1lises de alta precis\u00e3o \u2013 que, por sua vez, geram informa\u00e7\u00f5es e insights<\/em> estrat\u00e9gicos. Resumindo, portanto: os <\/strong>data warehouses<\/em><\/strong> centralizam dados relevantes para a empresa, sistematizando-os de forma eficiente e apoiando a cria\u00e7\u00e3o de estrat\u00e9gias <\/strong>data-driven<\/em><\/strong><\/a> de neg\u00f3cios.<\/strong><\/p>\n\n\n\n

    Com um planejamento e ETL cuidadosos, os data warehouses<\/em> agregam enorme valor \u00e0s decis\u00f5es organizacionais, sendo estruturas que permitem a otimiza\u00e7\u00e3o e aplica\u00e7\u00e3o pr\u00e1tica dos dados armazenados.<\/p>\n\n\n\n

    Quem utiliza os Data Warehouse? <\/strong><\/h3>\n\n\n\n

    Os data warehouses emergiram como uma ferramenta essencial na estrat\u00e9gia de dados das empresas modernas, proporcionando uma plataforma centralizada para o armazenamento, gest\u00e3o e an\u00e1lise de informa\u00e7\u00f5es cr\u00edticas<\/strong>. Esses dep\u00f3sitos de dados t\u00eam provado seu valor por meio de uma ampla gama de casos pr\u00e1ticos em diversas ind\u00fastrias, transformando a maneira como as organiza\u00e7\u00f5es utilizam informa\u00e7\u00f5es para tomadas de decis\u00f5es mais estrat\u00e9gicas:<\/p>\n\n\n\n