A confiabilidade dos dados refere-se à integridade e precisão dos dados como uma medida de quão bem eles podem ser considerados consistentes e livres de erros ao longo do tempo e das fontes.
Quanto mais confiáveis forem os dados, mais confiáveis eles se tornarão. A confiança nos dados fornece uma base sólida para a obtenção de insights significativos e tomada de decisões bem informadas, seja em pesquisas acadêmicas, análise de negócios ou políticas públicas.
Dados imprecisos ou não confiáveis podem levar a conclusões incorretas, modelos falhos e tomadas de decisão inadequadas.É por isso que cada vez mais empresas estão introduzindo Diretores de Dados - um número que dobrou entre as principais empresas de capital aberto entre 2019 e 2021.1
Os riscos de dados ruins combinados com as vantagens competitivas de dados precisos significam que as iniciativas de confiabilidade de dados devem ser a prioridade de todos os negócios. Para ser bem-sucedido, é importante entender o que está envolvido na avaliação e melhoria da confiabilidade — o que se resume em grande parte à observabilidade de dados— e, em seguida, definir responsabilidades claras e metas para aprimoramento.
A implementação de observabilidade de dados de ponta a ponta ajuda as equipes de engenharia de dados a garantir a confiabilidade dos dados em toda a pilha de dados, identificando, solucionando e resolvendo problemas antes que problemas de dados ruins tenham a chance de se espalhar.
Veja como a observabilidade proativa de dados pode ajudá-lo a detectar incidentes de dados mais cedo e resolvê-los mais rapidamente.
Assine a newsletter da IBM
Medir a confiabilidade de seus dados exige a análise de três fatores principais:
1. Ele é válido?
A validade dos dados é determinada se eles são armazenados e formatados da maneira correta e se estão medindo o que se pretende medir. Por exemplo, se você estiver coletando novos dados em um fenômeno específico do mundo real, os dados só serão válidos se refletirem precisamente esse fenômeno e não estiverem sendo influenciados por fatores estranhos.
2. Está completo?
A integridade dos dados identifica se algo está faltando nas informações. Embora os dados possam ser válidos, eles ainda podem estar incompletos se campos críticos não estiverem presentes que possam alterar o entendimento de alguém sobre as informações. Dados incompletos podem levar a análises tendenciosas ou incorretas.
3. É único?
A singularidade dos dados verifica se há duplicatas no conjunto de dados. Essa singularidade é importante para evitar representações excessivas, que seriam imprecisas.
Para dar um passo adiante, algumas equipes de dados também analisam vários outros fatores, incluindo:
- Se e quando a fonte de dados foi modificada
- Quais alterações foram feitas nos dados
- Com que frequência os dados foram atualizados
- De onde vieram os dados originalmente
- Quantas vezes os dados foram usados
Medir a confiabilidade dos dados é essencial para ajudar as equipes a construir confiança em seus conjuntos de dados e identificar possíveis problemas desde o início. Testes de dados regulares e eficazes podem ajudar as equipes de dados a identificar rapidamente os problemas para determinar a origem do problema e tomar medidas para resolvê-lo.
Uma plataforma de dados moderna é suportada não apenas pela tecnologia, mas também pelo DevOps, DataOps e filosofias ágeis. Embora DevOps e DataOps tenham propósitos completamente diferentes, cada um é semelhante à filosofia ágil, que é projetada para acelerar os ciclos de trabalho do projeto.
O DevOps se concentra no desenvolvimento de produtos, enquanto o DataOps se concentra na criação e na manutenção de um sistema de arquitetura de dados distribuído que agrega valor comercial aos dados.
Agile é uma filosofia para o desenvolvimento de software que promove velocidade e eficiência, mas sem eliminar o fator "humano". Ela enfatiza as conversas presenciais como uma maneira de maximizar as comunicações, além de enfatizar a automação como um meio de minimizar erros.
A confiabilidade e a validade dos dados abordam dois aspectos distintos da qualidade dos dados.
No contexto do gerenciamento de dados, ambas as qualidades desempenham um papel crucial na garantia da integridade e utilidade dos dados em mãos.
- A confiabilidade dos dados se concentra na consistência e repetibilidade dos dados em diferentes observações ou medições.Essencialmente, dados confiáveis devem produzir resultados iguais ou muito semelhantes cada vez que uma determinada medição ou observação é repetida.Trata-se de garantir que os dados estejam estáveis e consistentes ao longo do tempo e em diferentes contextos.
- A validade dos dados, no sentido de validação de dados, diz respeito à precisão, estrutura e integridade dos dados.Garante que todos os novos dados sejam formatados corretamente, estejam em conformidade com as regras necessárias e que sejam precisos e livres de corrupção.Por exemplo, uma coluna de data deve ter datas e não caracteres alfanuméricos.Dados inválidos podem levar a uma variedade de problemas, como erros de aplicativos, resultados incorretos de análise de dados e qualidade geral de dados ruim.
Embora a confiabilidade e a validade dos dados estejam relacionadas, elas não são intercambiáveis. Por exemplo, você pode ter um processo de coleta de dados altamente confiável (que forneça resultados consistentes e repetíveis), mas se os dados coletados não forem validados (não estiverem em conformidade com as regras ou os formatos exigidos), o resultado final ainda será de dados de baixa qualidade.
Por outro lado, você pode ter dados perfeitamente válidos (atendendo a todas as regras de formato e integridade), mas se o processo de coleta desses dados não for confiável (ele fornece resultados diferentes a cada medição ou observação), a utilidade e a confiabilidade desses dados se tornam questionáveis.
Para manter a confiabilidade dos dados, um método consistente para coletar e processar todos os tipos de dados deve ser estabelecido e rigorosamente seguido. Para a validade dos dados, protocolos rigorosos de validação de dados devem ser implementados. Isso pode incluir itens como verificações de tipo de dados, verificações de faixa, verificações de integridade referencial e outros. Esses protocolos ajudarão a garantir que os dados estejam no formato certo e cumprirão todas as regras necessárias.
Todas as iniciativas de confiabilidade de dados apresentam problemas e desafios consideráveis em muitas áreas de pesquisa e análise de dados, incluindo:
A forma como os dados são coletados pode afetar muito a sua confiabilidade. Se o método utilizado para recolher dados for falho ou tendencioso, os dados não serão fiáveis. Além disso, erros de medição podem ocorrer no ponto de coleta de dados, durante a entrada de dados ou quando os dados estão sendo processados ou analisados.
Os dados devem ser consistentes ao longo do tempo e em diferentes contextos para serem confiáveis. Dados inconsistentes podem surgir devido a mudanças nas técnicas de medição, definições ou nos sistemas usados para coletar dados.
Erro humano é sempre uma fonte potencial de não confiabilidade. Isso pode ocorrer de várias maneiras, como entrada de dados incorreta, codificação de dados inconsistente e interpretação incorreta dos dados.
Em alguns casos, o que está sendo medido pode mudar ao longo do tempo, causando problemas de confiabilidade. Por exemplo, um modelo de machine learning que prevê o comportamento do consumidor pode ser confiável quando é criado pela primeira vez, mas pode se tornar impreciso à medida que o comportamento do consumidor subjacente muda.
Práticas inconsistentes de governança de dados e falta de administração de dados podem resultar em falta de responsabilidade pela qualidade e confiabilidade dos dados .
Quando as fontes de dados mudam ou passam por atualizações, elas podem prejudicar a confiabilidade dos dados, principalmente se os formatos de dados ou estruturas mudarem. A integração de dados de diferentes fontes de dados também pode levar a problemas de confiabilidade de dados em sua plataforma de dados moderna.
Registros duplicados ou entradas podem levar a imprecisões e distorcer os resultados. Identificar e lidar com duplicatas é um desafio para manter a confiabilidade dos dados.
Abordar essas questões e desafios requer uma combinação de processos de qualidade de dados, governança de dados, validação de dados e práticas de gerenciamento de dados.
Garantir a confiabilidade de seus dados é um aspecto fundamental do gerenciamento sólido de dados. Aqui estão algumas práticas recomendadas para manter e melhorar a confiabilidade dos dados em toda a pilha de dados:
- Padronize a coleta de dados: estabeleça procedimentos claros e padronizados para a coleta de dados.Isso pode ajudar a reduzir a variação e garantir a consistência ao longo do tempo.
- Formar coletores de dados: os indivíduos que coletam dados devem ser treinados adequadamente para entender os métodos, ferramentas e protocolos para minimizar os erros humanos.Eles devem estar cientes da importância de dados confiáveis e das consequências de dados não confiáveis.
- Auditorias regulares: as auditorias regulares de dados são essenciais para detectar inconsistências ou erros que possam afetar a confiabilidade.Essas auditorias devem ter como objetivo encontrar erros, mas também identificar as causas básicas dos erros e implementar ações corretivas.
- Use instrumentos confiáveis: use ferramentas e instrumentos que tenham sido testados quanto à confiabilidade.Por exemplo, se você estiver usando o processamento de transmissão, teste e monitore transmissões de eventos para garantir que os dados não sejam perdidos ou duplicados.
- Limpeza de dados: empregue um rigoroso processo de limpeza de dados.Isso deve incluir a identificação e endereçamento de outliers, valores ausentes e inconsistências.Use métodos sistemáticos para lidar com dados ausentes ou problemáticos.
- Manter um dicionário de dados: um dicionário de dados é um repositório centralizado de informações sobre dados, como tipos de dados, significados, relacionamentos com outros dados, origem, uso e formato.Ele ajuda a manter a consistência dos dados e garante que todos usem e interpretem os dados da mesma maneira.
- Garantir a reprodutibilidade dos dados: documentar todas as etapas de coleta e processamento de dados garante que outros possam reproduzir seus resultados, o que é um aspecto importante da confiabilidade.Isso inclui fornecer explicações claras das metodologias usadas e manter o controle de versão para dados e códigos.
- Implementar governança de dados: boas políticas de governança de dados podem ajudar a melhorar a confiabilidade dos dados.Isso envolve ter políticas e procedimentos claros sobre quem pode acessar e modificar dados e manter registros claros de todas as alterações feitas em conjuntos de dados.
- Backup e recuperação de dados: faça backup regular dos dados para evitar a perda de dados.Além disso, garanta que haja um sistema confiável para a recuperação de dados em caso de perda de dados.
A observabilidade de dados é sobre entender a integridade e o estado dos dados em seu sistema. Inclui uma variedade de atividades que vão além de apenas descrever um problema. A observabilidade de dados pode ajudar a identificar, solucionar e resolver problemas de dados em quase tempo real.
É importante ressaltar que a observabilidade dos dados é essencial para se antecipar a problemas de dados ruins, que estão no centro da confiabilidade dos dados. Olhando mais a fundo, a observabilidade de dados engloba atividades como monitoramento, alerta, acompanhamento, comparações, análises, registro, acompanhamento de SLA e linhagem de dados, todos trabalhando juntos para entender a qualidade de dados de ponta a ponta, incluindo confiabilidade de dados.
Quando bem feito, a observabilidade de dados pode ajudar a melhorar a confiabilidade dos dados, possibilitando a identificação antecipada de problemas, para que toda a equipe de dados possa responder mais rapidamente, entender a extensão do impacto e restaurar a confiabilidade.
Ao implementar práticas e ferramentas de observabilidade de dados, as organizações podem aumentar a confiabilidade dos dados, garantindo que sejam precisas, consistentes e confiáveis durante todo o ciclo de vida dos dados. Isso é especialmente crucial em ambientes orientados por dados, onde dados de alta qualidade podem afetar diretamente a business intelligence, decisões orientadas por dados e resultados de negócios.
O IBM® Databand® é um software de observabilidade para pipelines e warehouses de dados que coleta metadados automaticamente para criar linhas de base históricas, detectar anomalias e fazer triagem de alertas para corrigir problemas de qualidade de dados.
Com suporte a padrões ETL e ELT, o IBM® DataStage® oferece integração de dados flexível e quase em tempo real, tanto no local quanto na nuvem.
Um catálogo de dados inteligente para a era da IA, o IBM® Knowledge Catalog permite acessar, selecionar, categorizar e compartilhar dados, ativos de conhecimento e seus relacionamentos, não importa onde residam.
Agora você pode escalar a análise e a IA com um armazenamento de dados adequado à finalidade, construído em uma arquitetura de lago aberto, suportado por formatos de consulta, governança e dados abertos para acessar e compartilhar dados.
Mergulhe fundo para entender qual é a observabilidade de dados, por que ela é importante, como ela evoluiu junto com sistemas de dados modernos e melhores práticas para implementar uma estrutura de observabilidade de dados.
Garantir que os dados de alta qualidade sejam de responsabilidade dos engenheiros de dados e de toda a organização. Esta publicação descreve a importância da qualidade dos dados, como auditar e monitorar seus dados e como obter a adesão dos principais stakeholders.
Quando se trata de qualidade de dados, existem algumas métricas importantes, incluindo integridade, consistência, conformidade, precisão, integridade, pontualidade, disponibilidade e continuidade, só para citar algumas.
Notas de rodapé
1. Em dados em que confiamos (o link reside fora de ibm.com),PwC, 28 de abril de 2022