Artigo 11 de 16
Porque é que a maioria dos pilotos GenAI falha e como são realmente os dados prontos para IA
Cada equipa de liderança empresarial está a ter alguma versão da mesma conversa. Onde implementamos o AI, com que rapidez nos podemos mover, qual é o custo competitivo da espera? É uma pergunta razoável, mas geralmente ignora a pergunta anterior: os nossos dados estão em algum estado para que o AI funcione? A investigação conjunta MIT-BCG sobre a adoção do AI, agora no seu oitavo ano, tem sido consistente neste ponto – a barreira dominante para o valor do AI não é algorítmica, é fundamental. A qualidade dos dados, a integração dos dados e a governação dos dados são os pontos de estrangulamento. Gartner estima separadamente que 80% dos projetos AI não conseguem atingir a produção. As duas descobertas estão relacionadas: os projetos que falham falham quase sempre na camada de dados, e não na camada de modelo. Os LLM amplificam o problema porque são confiantes por defeito – alimentados com maus dados, produzem respostas articuladas, plausíveis e erradas, muitas vezes a uma velocidade que ultrapassa qualquer capacidade humana de as verificar. Esta publicação descreve como são realmente os dados prontos para o AI, porque é que a maioria das organizações ainda não está lá e como preencher a lacuna de forma pragmática.
A antiga máxima da qualidade dos dados não se alterou; as consequências têm. Quando um conjunto de dados defeituoso alimentava um painel BI tradicional, um analista podia detetar a anomalia e sinalizá-la. Quando o mesmo conjunto de dados alimenta um assistente com tecnologia LLM ou um motor de recomendação, o mau resultado é apresentado diretamente a um cliente, a um regulador ou a um decisor, sem verificação intermédia. O modelo não sabe que os dados estão errados. Ele defenderá a resposta com eloquência. E como os LLM são treinados para serem prestáveis e confiantes, raramente oferecem o tipo de avisos que um analista humano atribuiria a um número instável. O resultado é uma categoria de risco totalmente nova: alucinações articuladas, automatizadas e de grande escala. A mitigação não é melhor avisos ou grades de proteção. São dados de entrada limpos, bem controlados e bem rotulados.
#1
qualidade e integração de dados classificadas como a principal barreira ao valor GenAI
Fonte: MIT Sloan / BCG, 2023 ↗~40%
dos executivos afirmam que a prontidão dos dados é o maior obstáculo à implementação do AI
Fonte: IBM Institute for Business Value, 2024 ↗Os grandes modelos de linguagem são extraordinários reconhecedores de padrões, mas possuem modos de falha específicos que interagem mal com dados empresariais confusos. Tendem a interpolar quando faltam dados, em vez de sinalizar a lacuna. Resumirão com segurança um conjunto de dados contraditórios, calculando a média das contradições. Tratarão as variações de esquema como equivalências semânticas ('customer_id' e 'cust_no' devem significar a mesma coisa - excepto que por vezes não significam). E terão alucinações com valores de campo plausíveis quando lhes for pedido para preencher registos incompletos. Nenhum destes comportamentos é um bug; são os resultados naturais de um sistema otimizado para a fluência. A única solução durável é fornecer ao modelo informação que não exija que interpole, contradiga ou tenha alucinações.
Problema de dados pré-AI
Registos de clientes duplicados causaram contagens inflacionadas nos relatórios
Convenções de unidades inconsistentes causaram desvios de métricas entre departamentos
Os valores em falta foram detectados e sinalizados pela análise do analista
Os dados obsoletos apareceram como discrepâncias evidentes nos gráficos de tendências
Definições de métricas ambíguas causaram debates intermitentes em reuniões
Amplificação Pós-AI
O assistente AI fornece diferentes contagens de clientes, dependendo da lógica de desduplicação escolhida
O modelo calcula a média de toneladas e quilogramas de forma invisível, produzindo disparates fluentes
O modelo interpola valores em falta sem sinalizar a lacuna ao utilizador
Os dados obsoletos são resumidos como atuais, sem aviso temporal
Diferentes utilizadores obtêm definições diferentes do mesmo assistente no mesmo dia
Os dados prontos para AI não são exóticos. São os mesmos dados limpos, controlados e bem modelados que produzem um bom BI – mantido num padrão ligeiramente mais elevado em algumas dimensões específicas. A fasquia aumenta em termos de completude, clareza semântica e riqueza de metadados porque os modelos não podem confiar no contexto humano para preencher as lacunas. Abaixo está uma lista de verificação prática que utilizamos com os clientes que avaliam a prontidão do AI antes do início de qualquer trabalho piloto.
Fonte única de verdade: cada entidade-chave (cliente, produto, transação) tem uma representação canónica, com desduplicação e resolução de identidade aplicadas
Disciplina de esquemas: esquemas estáveis e documentados com nomes de campos, unidades e domínios de valores explícitos — sem surpresas escondidas em campos de texto livre
Linhas de base de integridade: cada campo crítico tem uma taxa de integridade medida e os intervalos abaixo do limite desencadeiam alertas
Camada semântica: os termos de negócio têm uma definição, mapeada explicitamente para o SQL subjacente, pelo que o modelo e o humano vêem a mesma métrica
Linhagem e rasto de auditoria: cada saída pode ser rastreada até aos registos de origem – não negociável para qualquer recurso do AI que toque em decisões reguladas
Classificação de sensibilidade: os campos PII, confidenciais comerciais e restritos são marcados ao nível da linha ou da coluna, para que as características do AI possam impor a política de acesso sem fugas
Histórico suficiente: histórico suficientemente limpo para suportar o ajuste fino, a recuperação e o raciocínio de tendências — normalmente de 18 a 36 meses para casos de utilização operacionais
O padrão de avaria do piloto AI é deprimentemente consistente. Um líder sénior defende um caso de utilização de alta visibilidade. Uma pequena equipa cria uma demonstração com base num subconjunto selecionado de dados. A demonstração deslumbra num comité diretor. A equipa tenta então estender a mesma abordagem a todo o conjunto de dados de produção, descobre que os dados subjacentes são muito mais confusos do que o conjunto de demonstração selecionado e o projeto fica paralisado numa fase de correção estendida que ninguém planeou. No nono mês, o apetite político alterou-se. O padrão que funciona é o oposto: avaliar primeiro a prontidão dos dados, fixar a base em paralelo com um pequeno piloto estreito e só depois dimensionar. Menos dramático, taxa de acerto muito maior.
Uma questão de diagnóstico útil para qualquer caso de utilização proposto do AI: de que conjunto de dados depende isto e eu confiaria neste conjunto de dados para informar uma decisão trimestral do conselho hoje? Se a resposta for não, o caso de utilização AI não está pronto – os dados são o projeto.
A sequência é importante. A maioria das organizações obtém mais valor gastando um quarto na preparação de dados e um quarto num piloto restrito do que gastando seis meses num piloto ambicioso construído sobre bases instáveis. A ordem das operações é a diferença entre o AI como capacidade estratégica e o AI como uma série cara de demonstrações.
Escolha um caso de utilização de alto valor com poupanças mensuráveis – não o mais ambicioso, mas o mais mensurável
Audite os dados subjacentes para este caso de utilização específico em relação à lista de verificação pronta para AI; remediar antes do piloto
Construa o piloto de forma restrita, com informação básica explícita para avaliação, e execute-o em modo sombra em relação aos processos existentes
Meça rigorosamente: precisão, latência, custo por consulta, pontuações de confiança do utilizador – não apenas o sentimento do patrocinador executivo
Só depois de o caso restrito estar robusto, generalize os investimentos da plataforma – armazenamento de vetores, governação, observabilidade – para o próximo caso de uso
O Delta BI executa este trabalho de prontidão como o precursor de qualquer envolvimento do AI. O erro mais dispendioso do AI é não escolher o modelo errado; está a implementar o modelo certo nos dados errados.
O resultado final
AI não substitui uma base de dados funcional; é o consumidor mais exigente de um. Os modelos amplificam a qualidade das suas entradas em ambas as direções – dados limpos produzem valor de mudança radical, dados confusos produzem respostas erradas com segurança à escala industrial. As organizações vencedoras com o AI não são aquelas com os orçamentos de modelo mais elevados. Foram eles que fizeram o trabalho pouco glamoroso de limpar, governar e modelar os seus dados antes do arranque dos pilotos. O Delta BI constrói esta base: o armazém, a governação, a camada semântica, a observabilidade – a camada que torna o AI útil em vez de apenas impressionante. O trabalho de dados é o trabalho AI.
Comece pela decisão
Conte-nos o seu desafio. Responderemos para agendar uma avaliação e definir um caminho prático.
Pedir uma avaliação de dados