A limpeza não pode mudar o negócio
O faturamento de R$ 102 milhões fecha idêntico da bronze à gold. Testes de qualidade derrubam o pipeline quando algo diverge. A regra é corrigir a transformação, nunca o teste.
Estudo de caso
Lakehouse na Databricks que transforma 10 CSVs de ERP e CRM numa fila semanal de 200 ligações, com o diretor na tela.
Distribuidora fictícia. Dados gerados para o estudo, no formato que aparece em empresa real.
O ponto de partida foram 10 arquivos CSV de ERP e CRM, com mais de 300 mil linhas. Datas em dois formatos na mesma coluna. CNPJ com espaço. Duplicatas. O tipo de sujeira que quebra relatório e, pior, quebra decisão.
A resposta foi um pipeline em camadas (raw, bronze, silver, gold), inteiro como código via Databricks Asset Bundles. Schemas, jobs, dashboard e os espaços do Genie são versionados e sobem no mesmo deploy.
O faturamento de R$ 102 milhões fecha idêntico da bronze à gold. Testes de qualidade derrubam o pipeline quando algo diverge. A regra é corrigir a transformação, nunca o teste.
Toda coluna que uma IA consulta tem comentário de negócio auditado. Uma tarefa do job falha se faltar um. É isso que faz o Genie responder "quanto vale a fila?" com o número certo e a palavra "estimativa".
Um modelo de propensão de compra (scikit-learn e MLflow, lift de 4x sobre uma fila aleatória) alimenta a fila da semana. O time registra o desfecho de cada contato no Databricks App em React. Na primeira semana, a conversão real ficou em 41,7%, contra 41,5% que o modelo previu.
Três telas. A semana (quem ligar), o acompanhamento (se o modelo se confirma) e o perguntar (Genie com a permissão do usuário no Unity Catalog).
O mesmo contrato de metadado responde fora do app, no espaço Genie do Databricks. A pergunta de negócio vira número conferível.
O app rotaperfume-direcao sobe via Databricks Asset Bundles. Warehouse serverless, espaço Genie e o React compartilham o mesmo pacote.
O projeto segue em evolução. Os próximos passos são extrair as transformações para módulos Python testáveis fora do notebook, e migrar o provisionamento da infraestrutura para Terraform, para o mesmo ambiente subir de forma reproduzível em qualquer workspace.