O que é governança de dados?

O objetivo de uma política de governança de dados é manter os dados seguros e de alta qualidade que sejam facilmente acessíveis para iniciativas de descoberta de dados e business intelligence. Funcionando como um centro de controle de tráfego aéreo, a função de governança de dados ajuda a garantir que dados verificados fluam através de pipelines seguros para endpoints e usuários confiáveis.

Inteligência artificial (IA), big data e transformação digital são os principais motivadores dos programas de governança de dados. À medida que o volume de dados aumenta a partir de novas fontes, como as tecnologias de Internet das Coisas (IoT), as organizações precisam reconsiderar suas práticas de gerenciamento de dados para escalar seus esforços de business intelligence (BI).

Programas de governança de dados podem ajudar as organizações a proteger e gerenciar grandes volumes de dados, melhorando a qualidade dos dados, reduzindo silos de dados, aplicando políticas de conformidade e segurança e distribuindo o acesso aos dados de maneira apropriada.

A governança de dados é um subconjunto do gerenciamento de dados, que é a prática abrangente de coletar, processar e usar dados de maneira segura e eficiente para apoiar a tomada de decisões estratégicas e melhorar os resultados de negócios.

Embora a gestão de dados inclua a governança de dados, ela também abrange outras áreas do ciclo de vida dos dados, como o processamento de dados, o armazenamento de dados e a segurança de dados. Além disso, os vários aspectos do processo de gestão de dados influenciam-se mutuamente.

Como essas outras áreas do gerenciamento de dados podem impactar a governança de dados, várias equipes devem trabalhar juntas para projetar e seguir uma estratégia de gestão de dados.

Por exemplo, uma equipe de governança de dados pode identificar pontos em comum entre conjuntos de dados distintos. Se quiserem integrar esses dados, normalmente trabalharão com uma equipe de gestão de dados para definir o modelo de dados e a arquitetura de dados para facilitar essas conexões.

Outro exemplo é o acesso a dados, onde uma equipe de governança de dados pode definir as políticas de acesso a tipos específicos de dados, como informações pessoalmente identificáveis (PII). Em seguida, uma equipe de gestão de dados fornecerá esse acesso diretamente ou criará o mecanismo para fornecer esse acesso, muitas vezes por meio de controle de acesso baseado em função (RBAC).

Um framework de governança de dados detalha as estruturas e os processos de uma organização para a gestão de ativos críticos de dados. Ele define a propriedade e as responsabilidades dos dados e especifica como os dados devem ser tratados para manter a qualidade, segurança e conformidade dos dados.

Não existe um framework único que sirva para todos, pois frameworks são normalmente roteiros personalizados para os sistemas de dados, fontes de dados, protocolos do setor e regulamentações governamentais específicas de cada organização.

Os frameworks de governança de dados geralmente abordam itens como:

• Objetivos, funções e deveres do programa
• Padrões, políticas e processos de dados
• Procedimentos de auditoria
  
• Ferramentas de governança de dados

Programas de governança de dados normalmente definem um objetivo específico ou um conjunto de objetivos, como melhorar a qualidade dos dados, apoiar a conformidade ou viabilizar a tomada de decisão baseada em dados. Eles também selecionam métricas para medir o progresso em direção a esses objetivos. As principais métricas de governança podem incluir:

• Reduções nos erros e redundância de dados.

• Redução de custos por meio de maior eficiência e menor tempo de lançamento no mercado.

• Consistência e integridade dos dados.

• O nível de alfabetização de dados e conformidade com processos dos funcionários.

Programas de governança também definem as funções e responsabilidades de todos os envolvidos: comitê gestor, proprietários de dados, administradores de dados e stakeholders.

• Os membros do comitê de direção — ou conselho de governança — supervisionam a estratégia de governança de dados e a direção geral do framework. Esse comitê geralmente inclui executivos de alto nível, como diretores ou vice-presidentes, que supervisionam diversos departamentos.
  
  
• Os proprietários de dados supervisionam domínios específicos de dados entre unidades de negócios. Esses indivíduos são responsáveis por manter a precisão, qualidade e consistência dos dados, além de fornecerem contribuições sobre soluções de governança, políticas de dados e exigências regulatórias.
  
  
  
• Administradores de dados lidam com o gerenciamento diário de domínios de dados específicos.
  
  
• Stakeholders e equipes de negócios são os consumidores dos dados corporativos.

Frameworks de governança estabelecem parâmetros para os dados a serem governados e os resultados desejados. Isso inclui definir diretrizes para formatos de dados, modelos de dados, gerenciamento de dados mestres (MDM), metadados, convenções de nomenclatura e mais.

Os frameworks de governança frequentemente mapeiam os fluxos de dados e definem como os dados serão coletados, armazenados, movimentados e arquivados. Eles também podem identificar o hardware, software e os serviços que apoiarão os esforços de governança e a arquitetura de dados mais ampla da organização.

Algumas estruturas de governança podem definir escopos de dados, que são parâmetros de acesso para ativos de dados específicos, como dados mestre, metadados e dados históricos. Um escopo de dados pode ajudar a garantir que os usuários e aplicativos tenham acesso somente aos dados de que precisam e que ninguém tenha acesso aos dados que não deveriam.

Frameworks de governança descrevem procedimentos de teste, auditoria e registro para manter a transparência e a explicabilidade do programa de governança.

Auditorias regulares podem ajudar a verificar se os usuários estão cumprindo o framework de governança de dados. As auditorias também podem identificar maneiras de evoluir o programa de governança para lidar com novos dados, processos ou tecnologias.

Finalmente, as auditorias também podem ajudar as organizações a alcançar (e comprovar) a conformidade regulatória.

A tecnologia desempenha um papel importante na governança de dados eficaz. Ferramentas corporativas de governança de dados podem variar de plataformas abrangentes a soluções pontuais especializadas. As organizações escolhem diferentes ferramentas dependendo de suas arquiteturas de dados e frameworks de governança exclusivas.

As funcionalidades comuns das soluções de governança de dados são:

• Descoberta e classificação automática de dados.

• Aplicação de regras de proteção de dados e controles de acesso baseados em função.

• Atendimento a requisitos de privacidade e conformidade.

• Automação da gestão de metadados, catalogação de dados e rastreamento da linhagem de dados.

• Suporte para glossário de negócios.

Soluções de governança de dados podem lidar com vários formatos de dados. Algumas oferecem recursos de visualização para melhorar o entendimento de conjuntos de dados complexos e suas relações, facilitando a identificação de tendências, exceções e áreas que requerem atenção.

.

Implementar um framework de governança de dados sólida pode ajudar as organizações a obter uma ampla variedade de benefícios:

• Obter mais valor dos dados corporativos
• Promover inovação e eficiência
• Fornecer uma fonte única da verdade (SSOT)
• Ajudar a garantir privacidade, segurança e conformidade dos dados
• Usar dados com segurança em iniciativas de IA
• Permitir análises de dados mais precisas

As organizações não podem tomar decisões de negócios eficazes se essas decisões forem baseadas em dados falhos. A governança de dados pode ajudar a garantir a integridade, precisão, completude e consistência dos dados por meio da criação de um framework que apoie uma administração robusta dos dados e um forte processo de gerenciamento de dados de ponta a ponta.

Dados confiáveis ajudam as organizações a descobrir novas oportunidades, compreender melhor seus clientes e fluxos de trabalho e otimizar o desempenho geral do negócio.

A falta de governança de dados pode levar a erros nas métricas de desempenho que orientam a organização na direção errada, enquanto ferramentas de governança de dados podem ajudar a corrigir imprecisões antes que elas influenciem a estratégia de negócios.

Por exemplo, ferramentas de data lineage podem ajudar os proprietários de dados a rastrear os dados ao longo de seu ciclo de vida, incluindo transformações realizadas durante os processos de ETL (extração, transformação e carregamento) ou ELT (extração, carregamento e transformação). Isso permite que as organizações identifiquem e corrijam as causas-raiz de erros nos dados.

.

Quando o acesso a dados é restrito em uma organização, isso pode limitar a inovação, criar dependência de especialistas (SMEs) e desacelerar os processos de negócios.

Programas de governança de dados distribuem o acesso aos dados de maneira apropriada, dando a cada departamento ou indivíduo acesso apenas aos dados de que precisam. Isso permite que equipes multifuncionais trabalhem juntas de maneira mais próxima e eficiente, mantendo os dados seguros. 

Um sistema de dados devidamente governado pode fornecer uma fonte única da verdade em toda a organização. A tomada de decisão melhora quando todas as partes estão trabalhando com os mesmos conjuntos de dados.

Centralizar definições de dados e metadados em um único catálogo de dados pode ajudar a reduzir confusão e ineficiências. Essa documentação, por sua vez, torna-se a base para soluções de autoatendimento que garantem consistência de dados e de acesso aos dados em toda a organização.

Políticas de governança de dados geralmente incluem operações que facilitam o cumprimento de regulamentações governamentais sobre dados sensíveis e privacidade, como o Regulamento Geral sobre a Proteção de Dados (GDPR) da UE, a Lei de Portabilidade e Responsabilidade de Seguros de Saúde (HIPAA) dos EUA e requisitos de setor como os Padrões de Segurança de Dados do Setor de Cartões de Pagamento (PCI DSS). Violações desses requisitos podem resultar em multas governamentais elevadas e em reação pública negativa.

Ferramentas de governança de dados ajudam as organizações a estabelecer limites que podem prevenir violações de dados, exposições e usos indevidos. Frameworks de governança ajudam a construir sistemas de dados que são claros, explicáveis, justos e inclusivos. Por sua vez, esses sistemas de dados protegem a privacidade e a segurança e mantêm a fidelidade e a confiança dos clientes.

Em uma pesquisa da IDC, apenas 45,3% dos entrevistados afirmaram possuir “regras, políticas e processos para aplicar seus princípios de IA responsável” para proteger contra violações de segurança, riscos de responsabilidade, exposição de dados de clientes e risco regulatório.¹

A governança de dados envolve compreender a origem, a sensibilidade e o ciclo de vida de todos os dados que uma organização utiliza. Isso é a base de qualquer prática de governança de IA e é crucial para mitigar diversos riscos empresariais.

A governança de dados ajuda as organizações a fornecer dados de alta qualidade para iniciativas de IA e ML, enquanto protege esses dados e garante a conformidade com regras e regulamentos aplicáveis. Por exemplo, ferramentas de governança podem ajudar a garantir que dados pessoais sensíveis não sejam fornecidos a uma IA quando isso não for apropriado.

Ter os dados certos é a base para análises de dados avançadas e iniciativas de ciência de dados. Dados cuidadosamente governados viabilizam iniciativas valiosas, como relatórios de business intelligence ou projetos mais complexos de aprendizado de máquina (ML) preditivo.

Por exemplo, perfilar adequadamente os dados (revisar e limpar dados para entender melhor como eles estão estruturados) pode ajudar a compreender melhor a relação entre diferentes conjuntos e fontes de dados.

Iniciativas de governança de dados podem enfrentar muitos obstáculos na implementação. Alguns desses desafios incluem:

• Falta de patrocínio adequado
• Arquitetura de dados incoerente
• Visibilidade e controle de dados
• Aumento da demanda por acesso
• Requisitos de dados de IA

Programas eficazes de governança de dados geralmente exigem patrocínio em dois níveis: executivos e colaboradores individuais. Os diretores de dados (CDOs) e os administradores de dados são fundamentais na comunicação e priorização da governança de dados dentro de uma organização.

Os CDOs podem supervisionar e impor a responsabilidade entre as equipes de dados para ajudar a garantir que as políticas de governança de dados sejam adotadas. Os administradores de dados podem ajudar a promover a conscientização sobre essas políticas entre produtores e consumidores de dados para incentivar a conformidade em toda a organização. 

Sem o patrocínio adequado, os usuários de dados podem desconhecer ou não se preocupar com as políticas de governança. Isso pode resultar em não conformidade, baixa integridade dos dados e comprometimento da segurança dos dados.

Sem as ferramentas corretas e a arquitetura de dados adequada, as organizações podem ter dificuldades para implementar um programa eficaz de governança de dados.

Por exemplo, as equipes podem descobrir dados redundantes em diferentes funções. Para viabilizar uma governança eficaz, os data architects precisam desenvolver modelos de dados e arquiteturas de dados apropriadas para mesclar e integrar dados entre sistemas de armazenamento.

As equipes também podem precisar adotar um catálogo de dados para criar um inventário dos ativos de dados da organização. Ou, caso já possuam um, talvez precisem criar um processo de gerenciamento de metadados, que ajuda a garantir que os dados subjacentes sejam relevantes e estejam atualizados.

A governança de dados, especialmente em ambientes de nuvem híbrida e multinuvem, frequentemente envolve dados armazenados em vários formatos, provedores e locais. Além disso, os dados podem residir em diferentes tipos de armazenamentos de dados, como data lakes, data lakehouses e data warehouses.

A TI invisível pode dificultar ainda mais o processo. Em um estudo da TechTarget, o segundo desafio de segurança de dados mais relatado foi que funcionários estavam se inscrevendo em aplicações e serviços de nuvem sem aprovação da TI.²

Essa distribuição de dados pode dificultar o rastreamento e o monitoramento dos fluxos e do uso de dados. A governança de dados exige uma compreensão clara das fontes, destinos, transformações, dependências, propriedade, direitos de acesso e responsabilidades relacionadas aos dados.

A aplicação de políticas de governança de dados em vários ambientes pode exigir coordenação entre diferentes stakeholders, como proprietários de dados, administradores de dados, consumidores de dados e reguladores de dados.

O crescimento da análise e da inteligência de negócios de autoatendimento apresenta novos desafios para a governança de dados.

Os pedidos de acesso de mais usuários estão chegando mais rápido do que antes, mas as equipes de governança precisam equilibrar velocidade e acessibilidade com preocupações de privacidade e segurança. Além disso, os sistemas e procedimentos de dados em streaming precisam ser ajustados finamente para evitar vazamentos de dados.

Ao fornecer os dados que alimentam o treinamento e a operação de IA, muitas ferramentas de armazenamento e governança de dados ficam aquém.

Afinal, a IA é inerentemente mais complexa do que processos e recursos padrão impulsionados por TI — o que aumenta a importância de uma governança de dados ativa e informada. Um relatório da KPMG destaca a lacuna na governança de IA como um dos principais riscos que atualmente ameaçam os negócios.³ Por exemplo, sem salvaguardas apropriadas, a IA pode inadvertidamente expor informações pessoais sensíveis (PII) ou segredos corporativos.

Para reduzir riscos e complexidades da IA, as organizações podem combinar recursos de armazenamento de dados otimizados para IA com programas de governança de dados projetados com IA em mente.

O planejamento e a criação de um framework de governança de dados exigem tempo e esforço de vários stakeholders e equipes. Práticas comuns utilizadas por organizações na implementação de programas de governança incluem:

• Automatizar para maior eficiência
• Equilibrar conveniência e segurança dos dados
• Construir um catálogo de dados
• Usar modelos de maturidade
• Monitorar e melhorar continuamente

Automatizar certas partes do processo de governança de dados pode ajudar a melhorar a eficiência e reduzir erros. Ferramentas de governança e gerenciamento de dados podem ajudar a automatizar tarefas rotineiras como:

• Construção de linhagens de dados para visualizar o fluxo de dados pelos sistemas sem necessidade de soluções manuais e complexas.
  
  
• Propagação de políticas para atribuir tags de metadados a elementos específicos de dados, como colunas ou tabelas, para identificá-los como informações sensíveis.
  
  
• Geração de logs de auditoria para registrar interações com dados e entender como os colaboradores usam essas informações.
  
  
• A classificação de dados com base em categorias predefinidas, como PII, dados financeiros, propriedade intelectual ou informações confidenciais.

Segurança de dados robusta e controles de acesso fortes são fundamentais para qualquer framework de governança de dados. Ao mesmo tempo, as organizações querem que o acesso aos dados seja o mais simples possível para aqueles autorizados a ver e usar conjuntos de dados específicos. Sem esse acesso facilitado a informações de autoatendimento, a colaboração e o surgimento de novos insights são prejudicados.

Muitas organizações enfrentam dificuldades para gerenciar seus dados devido à falta de visibilidade. Um catálogo central de dados pode atuar como fonte única da verdade, possibilitando iniciativas de integração e governança de dados.

De acordo com um relatório do Gartner, a demanda por catálogos de dados está aumentando à medida que as organizações enfrentam dificuldades para encontrar, inventariar e analisar ativos de dados distribuídos e diversos. Com um catálogo de dados robusto, as organizações podem localizar e classificar informações em escala de forma mais fácil, permitindo uma melhor aplicação das políticas de governança de dados.

Muitas organizações acham útil criar um roteiro claro de governança. Modelos de maturidade podem fornecer esse roteiro.

Um modelo de maturidade de governança de dados é uma ferramenta que ajuda as organizações a avaliar o estado atual do seu programa de governança de dados, estabelecer metas e acompanhar o progresso ao longo do tempo.

As organizações podem estabelecer mecanismos regulares de avaliação e geração de relatórios para monitorar dados e métricas de governança ao longo do tempo. Essas avaliações podem ajudar a identificar problemas e promover melhorias nos processos de governança.

Revisar regularmente o framework e ajustá-lo com base em feedbacks, novas regulamentações ou mudanças na estratégia de negócios ajuda o framework a permanecer relevante e eficaz.

Além disso, avaliações podem fomentar uma cultura que valorize os dados como um ativo estratégico, apoiando a inteligência de negócios eficaz e o uso de dados em toda a organização.