Numa empresa de qualquer dimensão, é comum passar-se o seguinte: um analista precisa de dados sobre clientes para uma análise, e passa dois dias a construir do zero um conjunto de dados que, sem ele saber, outra equipa já tinha construído meses antes e que estava a apanhar pó nalgum sítio. Multiplicado por dezenas de analistas e centenas de conjuntos de dados, este desperdício é enorme — pessoas a reconstruir o que já existe, simplesmente porque não sabiam que existia nem onde procurar. O problema não é falta de dados; é falta de um mapa deles. É precisamente esse mapa que um data catalog, ou catálogo de dados, fornece.
Um data catalog é, na sua essência, um inventário organizado e pesquisável de todos os dados que existem numa organização. Assim como o catálogo de uma biblioteca permite encontrar rapidamente um livro no meio de milhares, um data catalog permite encontrar rapidamente os dados de que se precisa no meio de um mar de tabelas, ficheiros e conjuntos de dados espalhados por múltiplos sistemas. Sem ele, os dados de uma empresa são como uma biblioteca imensa sem catálogo: o conhecimento está lá, mas encontrá-lo é uma questão de sorte e de conhecer pessoalmente quem o pôs lá.
Este artigo explica o que é um data catalog, que problema resolve, e porque se torna essencial à medida que a quantidade de dados de uma empresa cresce para além do que qualquer pessoa consegue conhecer de memória.
O problema dos dados que ninguém encontra
À medida que uma empresa acumula dados ao longo dos anos, cria-se um paradoxo: quanto mais dados existem, mais difícil é encontrar os que se precisa. Os dados espalham-se por múltiplos sistemas, bases de dados, ficheiros e relatórios, cada um criado por alguém, com um propósito, num momento. O conhecimento sobre o que existe fica disperso — na cabeça de quem criou cada conjunto de dados, e não num sítio comum a que todos possam recorrer. Quando essa pessoa está ocupada, muda de funções ou sai, o conhecimento sobre aqueles dados perde-se, e eles tornam-se um mistério.
As consequências deste problema são caras e generalizadas. Analistas reconstroem conjuntos de dados que já existiam, desperdiçando dias de trabalho. Diferentes equipas criam versões ligeiramente diferentes dos mesmos dados, porque não sabiam da existência umas das outras. Decisões são tomadas sem se aproveitar dados relevantes que existiam mas que ninguém sabia que existiam. E muito do valor potencial dos dados de uma empresa fica por realizar, não por falta dos dados, mas por falta de os conseguir encontrar e perceber.
O que um data catalog contém
Um bom data catalog vai muito além de uma simples lista de tabelas. Contém, para cada conjunto de dados, a informação que permite não só encontrá-lo mas também perceber se serve para o que se precisa. Cada entrada no catálogo responde às perguntas essenciais que alguém teria antes de usar aqueles dados: o que são, de onde vêm, o que significam, quem os mantém, e se são de confiança.
É esta riqueza de informação sobre os dados — a que se chama, tecnicamente, metadados, ou dados sobre os dados — que transforma o catálogo de uma mera lista numa ferramenta genuinamente útil. Não basta saber que existe uma tabela chamada "vendas"; é preciso saber o que ela contém exatamente, com que frequência é atualizada, de que sistema vem, o que significa cada campo, e quem a pode explicar. É esta compreensão que permite a alguém decidir, com confiança, se aqueles dados servem para a sua análise, sem ter de os investigar às cegas.
O que faz um data catalog valioso
- Pesquisa fácil: encontrar os dados por tema, nome ou conteúdo, como se pesquisa qualquer coisa — a função mais básica e mais valiosa.
- Descrições claras: perceber o que cada conjunto de dados contém e significa, sem ter de decifrar nomes técnicos crípticos.
- Origem e linhagem: saber de onde vêm os dados e por onde passaram, para poder confiar neles e perceber o seu contexto.
- Dono e confiança: saber quem é responsável por cada conjunto de dados e se é oficial e fiável ou uma criação experimental.
Um catálogo vive da colaboração
Uma verdade importante sobre os data catalogs é que o seu valor não vem apenas da tecnologia, mas da colaboração de toda a organização em o manter vivo. Um catálogo só é útil se estiver atualizado e bem descrito, e isso exige que as pessoas que criam e conhecem os dados contribuam com a informação sobre eles — o que significam, para que servem, que cuidados ter. Um catálogo criado uma vez e depois abandonado torna-se rapidamente obsoleto e inútil, um mapa que já não corresponde ao território.
É por isso que os melhores data catalogs combinam automação com contribuição humana. A tecnologia pode descobrir e listar automaticamente que dados existem, mas o conhecimento sobre o que eles significam e como usá-los vem das pessoas. Cultivar uma cultura em que documentar os dados é parte natural do trabalho de quem os cria — e não uma tarefa extra e chata — é o que faz um catálogo manter-se vivo e valioso ao longo do tempo. O catálogo é tanto um projeto cultural como tecnológico.
Um caso concreto
Uma empresa de média dimensão tinha acumulado, ao longo de anos, uma enorme quantidade de dados espalhados por vários sistemas e equipas. Cada equipa conhecia os seus próprios dados, mas ninguém tinha uma visão do conjunto. O sintoma mais visível deste problema era o desperdício recorrente: aconteceu, mais do que uma vez, uma equipa passar semanas a construir um conjunto de dados sobre um tema, para depois descobrir, por acaso numa conversa de corredor, que outra equipa já tinha construído algo praticamente idêntico tempos antes. Além deste desperdício, havia a frustração diária de os analistas não conseguirem encontrar dados que sabiam existir algalgures, e a proliferação de versões diferentes dos mesmos dados criadas por equipas que se ignoravam mutuamente. A empresa decidiu implementar um data catalog. Começaram por inventariar os conjuntos de dados mais importantes e amplamente usados, descrevendo cada um: o que continha, de onde vinha, o que significavam os seus campos, quem o mantinha, e se era de confiança. Tornaram esse catálogo pesquisável e acessível a toda a gente. E, crucialmente, estabeleceram a prática de quem criasse um novo conjunto de dados relevante o registar e descrever no catálogo. A transformação, embora gradual, foi profunda. Os analistas passaram a começar qualquer nova análise por uma pesquisa no catálogo — "que dados já temos sobre isto?" — em vez de assumirem que teriam de construir tudo do zero. Descobriram, repetidamente, que os dados de que precisavam já existiam, poupando dias ou semanas de trabalho. A duplicação de conjuntos de dados caiu drasticamente, porque as equipas passaram a ver o que as outras já tinham feito antes de refazerem. E o valor latente em muitos dados que estavam esquecidos passou finalmente a ser aproveitado, porque as pessoas conseguiam encontrá-los. O valor não veio de a empresa ter passado a ter mais dados — já os tinha —, mas de finalmente conseguir encontrá-los e perceber o que tinha.
Encontrar é o primeiro passo para usar
No fundo, um data catalog resolve um problema anterior a todos os outros na utilização de dados: o de saber o que se tem. Toda a análise, todo o modelo, toda a decisão baseada em dados começa por encontrar os dados certos. Se esse primeiro passo é difícil — se as pessoas não sabem o que existe nem onde procurar — todo o resto fica comprometido, e grande parte do potencial dos dados fica por realizar. O catálogo remove este obstáculo inicial, tornando os dados descobríveis e, portanto, utilizáveis.
É esta a razão pela qual os data catalogs se tornam uma peça central à medida que a maturidade de dados de uma empresa cresce. Nos primeiros tempos, quando os dados são poucos e toda a gente os conhece, um catálogo parece desnecessário. Mas à medida que a quantidade de dados ultrapassa o que qualquer pessoa consegue conhecer de memória, o catálogo deixa de ser um luxo e passa a ser a infraestrutura que permite que os dados continuem a ser aproveitados em vez de se perderem na sua própria abundância.
Na prática
Se na tua empresa os analistas perdem tempo a reconstruir dados que já existem, se há versões duplicadas dos mesmos dados criadas por equipas que se ignoram, ou se muito do valor dos teus dados fica por aproveitar simplesmente porque ninguém sabe que existem, tens um problema que um data catalog resolve. Não precisas de catalogar tudo de uma vez — começa pelos conjuntos de dados mais importantes e mais usados, descreve-os bem, torna-os pesquisáveis, e cultiva a prática de registar o que se cria de novo. Os dados da tua empresa são facilmente descobríveis por quem precisa deles, ou estão espalhados numa biblioteca imensa e sem catálogo, onde encontrar algo é uma questão de sorte?
