Aparência
Fluência e qualidade de dados
Matéria: Sistemas de Informação e Dados
Voltar ao índice da matéria.
Fluência
Ser fluente em dados é formular pergunta, localizar fonte, compreender estrutura, analisar, comunicar e decidir reconhecendo incerteza e ética. Não equivale a dominar uma ferramenta. A primeira pergunta é “qual decisão?”, seguida por população, unidade, período e definição.
Dimensões de qualidade
Exatidão indica quanto o valor representa a realidade. Um endereço com formato correto ainda é inexato se não corresponde ao local do cliente. Completude verifica se os campos e registros necessários existem; ela deve ser avaliada conforme o uso, pois nem todo campo vazio constitui problema.
Consistência examina se valores relacionados seguem regras e não se contradizem entre fontes. Tempestividade avalia se o dado está atualizado e disponível quando a decisão precisa dele. Um saldo correto de ontem pode ser inadequado para autorizar operação em tempo real.
Validade verifica formato, domínio e regra, como data possível e código pertencente à lista autorizada. Unicidade impede que a mesma entidade seja representada por duplicatas que distorcem contagem e contato.
A integridade referencial preserva relações entre registros. Um pedido não deve apontar para cliente inexistente. As dimensões podem entrar em tensão: exigir campo obrigatório aumenta completude aparente, mas pode incentivar preenchimento falso e reduzir exatidão. Qualidade deve ser definida pelo processo e pela decisão que o dado sustenta.
Qualidade é adequada ao uso. Endereço sem complemento pode servir a análise por cidade e falhar em entrega. Meta de 100% pode ser inviável ou desnecessária; defina limiar pelo impacto.
Perfil e limpeza
Profiling examina distribuição, tipos, faltantes, extremos e duplicidade. Limpeza pode padronizar, corrigir, deduplicar ou imputar, sempre preservando dado original, regra e rastreabilidade. Remover outlier só porque é extremo pode apagar fraude ou evento real.
Ausência pode ser aleatória ou relacionada ao fenômeno. Preencher média reduz variância e pode enviesar; escolha depende do mecanismo e análise.
Causa na origem
Erros surgem por interface, definição, integração, incentivo e processo. Corrigir relatório mensalmente sem tratar captura mantém custo. Regras automáticas previnem formatos inválidos; reconciliações detectam divergência; steward coordena correção.
Indicadores e linhagem
Scorecard mede dimensão por campo crítico, tendência e responsável. Linhagem mostra origem, transformações e consumidores, essencial para explicar número e avaliar impacto de mudança.
Leitura crítica
Denominador, base, seleção, sazonalidade e agregação alteram conclusões. Média pode esconder grupos; correlação não causa; dashboard pode omitir incerteza. Reprodutibilidade exige consulta, versão, data e transformação documentadas.
Qualidade não é projeto único. Dados mudam com processo e sistema; monitoramento detecta degradação e fecha ciclo com quem produz o dado.
Se 5% dos códigos estão ausentes, pergunte onde e para qual uso: concentrados em clientes novos, podem enviesar análise de crescimento; distribuídos em campo opcional irrelevante, talvez não justifiquem custo de correção.