Qualidade de dados: estratégias para eliminar dados duplicados e inconsistentes

Clientes cadastrados três vezes, produtos com códigos diferentes em cada sistema, faturamento que não bate entre o ERP e o BI. Problemas de qualidade de dados custam tempo, geram decisões erradas e travam projetos de IA. A boa notícia é que eles podem ser tratados com método.

Dimensões de qualidade

• Completude: campos obrigatórios preenchidos.
• Unicidade: cada entidade registrada uma única vez.
• Validade: valores no formato e domínio corretos.
• Consistência: o mesmo dado igual em todos os sistemas.
• Exatidão: o dado reflete a realidade.
• Atualidade: disponível quando necessário.

Para aprofundar os conceitos, veja Qualidade de Dados e como definir seus problemas de qualidade.

Por que surgem duplicados e inconsistências

• Cadastro em vários sistemas sem chave comum.
• Entrada manual sem validação (CPF/CNPJ, e-mail, endereço).
• Integrações que inserem em vez de atualizar.
• Regras de negócio diferentes entre áreas.

Estratégias de correção

1. Previna na origem

Validações no cadastro, campos obrigatórios, listas de valores e busca de registros existentes antes de criar um novo.

2. Padronize

Normalize maiúsculas, acentos, espaços, formatos de telefone e endereço antes de comparar registros.

3. Deduplique

Use correspondência exata por chaves confiáveis (CPF, CNPJ) e correspondência aproximada para nomes e endereços, com regras de pontuação. Defina qual registro sobrevive e como os demais são unificados.

4. Crie uma fonte mestre

Para entidades críticas — clientes, produtos, fornecedores — mantenha um cadastro mestre (MDM) que os demais sistemas consultam.

5. Automatize testes

Testes de unicidade, nulos, integridade referencial e regras de negócio em cada carga — veja pipelines resilientes com Airflow e dbt.

6. Monitore e publique

Painel de qualidade por domínio, com tendências, e donos responsáveis pela correção.

Qualidade como processo

Correções pontuais resolvem o sintoma; a governança resolve a causa. Defina donos, regras e metas — veja o Guia de Governança e Gestão de Dados e o catálogo de dados.