Como transformar o diário oficial em base de dados confiável

O que significa tratar o diário oficial como base de dados

Quando um gestor acompanha o diário oficial para saber se um contrato foi homologado, ele já está usando esse documento como base de dados, mesmo que tudo esteja em texto corrido e em PDF escaneado. A consulta manual substitui a consulta em SQL, e a memória da equipe vira o dicionário de dados.

O mesmo vale para processos administrativos e pareceres técnicos. Eles concentram decisões, justificativas, datas e vínculos entre atores públicos e privados. Essas informações alimentam relatórios, prestações de contas e indicadores, ainda que o caminho seja feito por leitura manual e planilhas paralelas.

Tratar o diário oficial como base de dados significa assumir explicitamente que ele contém campos, registros e chaves, ainda que escondidos em parágrafos. Licitação, número do processo, órgão responsável, empresa contratada e valor são atributos de uma tabela; a publicação é o registro persistente que autentica esses dados.

A passagem de texto para estrutura começa pela decisão de quais campos interessam, como serão nomeados e que regras definem quando um valor está completo e confiável. Essa modelagem é tão importante quanto o algoritmo que fará a extração automática depois.

Esse enquadramento tem implicações diretas de governança. Ao transformar publicações em dados, o órgão precisa decidir quem é dono do modelo de dados, quem responde por correções e como as versões são registradas ao longo do tempo para efeito de auditoria e controle interno.

Também há impacto sobre transparência. O que hoje está acessível apenas a quem lê dezenas de páginas passa a estar disponível como consulta estruturada, com possibilidade de cruzar informações entre diários, processos e sistemas. A responsabilidade muda de publicar o texto para garantir a qualidade do dado derivado.

Preservação digital entra nesse cenário como camada de proteção. Se a publicação é vista como “fonte primária de dados”, torna-se essencial registrar o vínculo entre o texto oficial e o conjunto de campos extraídos, de modo que qualquer cidadão possa reconstruir, no futuro, como um indicador foi produzido.

Nesse sentido, diários, processos e pareceres tornam-se, simultaneamente, arquivo histórico e repositório de dados normativos e operacionais. O desafio deixa de ser apenas armazenar PDFs e passa a incluir manter, ao longo dos anos, a legibilidade semântica dos campos que hoje são extraídos por modelos.

Que tipo de informação estruturada a máquina extrai bem

Modelos de processamento de linguagem lidam melhor com padrões que se repetem, mesmo quando o texto é longo. Em documentos públicos, isso aparece em seções com formato previsível, como cabeçalhos de licitação, quadros de preços e campos de identificação de partes interessadas.

O estudo “AI-Enhanced Techniques for Extracting Structured Data from Unstructured Public Procurement Documents”, apresentado no IEEE ISAS em 2024, mostra ganhos relevantes quando há estrutura repetitiva em documentos de compras. A combinação de aprendizado de máquina com regras especializadas melhora a extração de itens, valores e fornecedores.

Campos bem delimitados, ainda que em texto corrido, tendem a ser extraídos com boa consistência. Número do processo, modalidade da licitação, CNPJ do fornecedor e datas aparecem em formatos regulares, que podem ser reconhecidos por expressões regulares, modelos de rotulagem de entidades e classificadores treinados para esse contexto.

Formulários padronizados, mesmo após digitalização, também oferecem terreno favorável. Quando a posição dos campos muda pouco entre documentos, técnicas de detecção de layout conseguem localizar blocos de texto e associá-los a rótulos como “objeto”, “valor estimado” ou “prazo de vigência”.

Em documentos de saúde, a revisão “Recuperação da informação em saúde”, publicada na ConCI em 2024, aponta resultados consistentes na extração de termos clínicos, códigos padronizados e metadados de prontuários, desde que existam vocabulários controlados e ontologias bem definidas para orientar os modelos.

Essas evidências sugerem que a máquina extrai especialmente bem três tipos de informação. Metadados previsíveis, como campos cadastrais; entidades com formato rígido, como códigos, números e datas; e relações recorrentes, como o vínculo entre órgão contratante, processo e fornecedor em textos de licitação.

Outra área em que a extração costuma funcionar de forma estável é a classificação de seções. Separar publicações por tipo de ato, tema ou área de política pública aproveita padrões de linguagem e vocabulário. Modelos de classificação treinados com exemplos rotulados conseguem atingir desempenho útil para triagem inicial.

Quanto mais o documento se aproxima de um formulário, com partes claramente distintas e linguagem repetitiva, maior a chance de extrair campos estruturados com desempenho mensurável e estável. O desafio aumenta à medida que o texto se torna narrativo, interpretativo ou altamente contextual.

Onde os modelos erram e por que isso importa para a gestão

Ambiguidade textual é uma das fontes centrais de erro. Nos diários, a mesma expressão pode descrever fases distintas de um processo, e modelos de extração confundem, por exemplo, “autorização” com “homologação”, o que desloca a data de referência e altera indicadores de prazo.

Exceções de formato também geram problemas. Publicações com redação atípica, inserção de tabelas em imagens ou mudanças pontuais no modelo de documento quebram padrões aprendidos. O estudo de extração em compras públicas no IEEE ISAS 2024 destaca justamente a sensibilidade dos modelos a variações de layout e de redação.

Mudanças sistemáticas no modelo de documento criam outro tipo de risco. Quando uma nova gestão altera o formato do edital ou do extrato, modelos treinados em anos anteriores continuam rodando, mas começam a errar de forma silenciosa, porque os campos mudaram de posição ou nome sem aviso para a equipe técnica.

A qualidade do OCR é um fator crítico quando o acervo está em PDF escaneado. Erros de reconhecimento de caracteres afetam diretamente números de processo, valores e CNPJs. Pequenas distorções nesse nível comprometem a confiabilidade de análises financeiras e relações entre órgãos e fornecedores.

Para a gestão, esses erros se traduzem em risco concreto. Um indicador de prazo de contratação calculado com datas equivocadas pode levar a diagnósticos incorretos sobre gargalos administrativos, induzindo reformas de processo baseadas em evidências frágeis.

Na prestação de contas, a extração equivocada de valores ou nomes de fornecedores compromete a consistência entre o que é informado em portais de transparência e o que está registrado nos documentos oficiais. Isso aumenta questionamentos de órgãos de controle e da sociedade.

Em políticas públicas setoriais, como saúde, a revisão de 2024 na ConCI enfatiza que erros na extração de informações clínicas e administrativas podem afetar estatísticas epidemiológicas e planejamento de recursos. O raciocínio se estende a outros domínios: extrações falhas distorcem o mapa com que o gestor enxerga o território.

Quando esses modelos passam a alimentar rotinas automatizadas, como alertas, painéis e fluxos de aprovação, erros acumulados ganham escala. O risco deixa de ser um campo isolado com problema e passa a ser um sistema de apoio à decisão que opera com premissas incorretas.

Como medir o risco de erro em vez de prometer acurácia perfeita

Extrair dados de documentos públicos é um processo probabilístico. Cada campo extraído vem, na prática, com uma chance de estar correto. A questão central para a gestão é como mensurar essa chance, documentar o desempenho e decidir o que fazer com a incerteza residual.

Experimentos descritos em “AI-Enhanced Techniques for Extracting Structured Data from Unstructured Public Procurement Documents” mostram métricas clássicas de desempenho, como precisão e revocação, aplicadas a campos específicos de licitações. Essas métricas permitem dizer, por exemplo, qual fração dos fornecedores foi identificada corretamente.

Medir risco começa pela construção de conjuntos de teste rotulados, em que humanos marcam os campos corretos em amostras de publicações. Essa base serve para estimar, por campo, a taxa de acerto, os tipos de erro mais frequentes e os casos em que o modelo não consegue decidir com confiança.

Amostragem contínua é essencial. Em vez de avaliar o modelo uma única vez, o ideal é monitorar, mês a mês, um subconjunto de documentos revisados manualmente. Esse procedimento detecta cedo mudanças de desempenho associadas a novos formatos, políticas ou modelos de publicação adotados pelos órgãos.

Auditoria direcionada complementa a amostragem aleatória. Campos com maior impacto em decisões — como valores, datas-chave e identificadores de partes — merecem planos de checagem mais intensos, com frequência maior de revisão e limiares de confiança mais rígidos para uso automático.

Na área de saúde, a revisão na ConCI 2024 destaca a importância de métricas específicas para recuperação de informação, como cobertura de termos relevantes e erros de categorização. Essas ideias podem ser adaptadas para diários oficiais, definindo indicadores de qualidade da extração vinculados a usos concretos.

Tratar a extração como processo probabilístico também abre espaço para calibrar respostas. Um modelo pode operar com modos distintos: aceitar automaticamente campos com alta confiança, encaminhar os intermediários para revisão humana e registrar, como desconhecidos, aqueles em que não há evidência suficiente.

Em termos de gestão, medir risco significa incorporar essas métricas aos acordos de nível de serviço. Em vez de exigir “acurácia de 100%”, o contrato interno ou externo define faixas aceitáveis de erro por tipo de campo e mecanismos de correção quando os limites são ultrapassados.

Qual é o papel da revisão humana no ciclo de extração

A revisão humana funciona como segunda linha de defesa e como fonte de conhecimento de domínio. Equipes de dados conhecem modelos e métricas; áreas finalísticas conhecem o contexto jurídico, administrativo ou clínico que dá sentido aos campos extraídos.

O primeiro papel é definir regras de negócio. Gestores e especialistas indicam quais campos são obrigatórios, que combinações são impossíveis e quais inconsistências sinalizam erro de extração. Essas regras permitem que o sistema identifique registros suspeitos e priorize a revisão humana.

Revisar amostras é a prática que conecta teoria e operação. Em vez de tentar verificar tudo, as equipes escolhem subconjuntos de publicações para checagem detalhada, classificam erros por tipo e alimentam ciclos de melhoria. Esse método é recorrente em experiências de extração descritas no estudo do IEEE ISAS 2024.

Ajustar modelos depende de feedback qualificado. Quando revisores corrigem campos, suas decisões devem ser registradas de modo estruturado, permitindo que o time técnico use essas correções como novos exemplos de treinamento, especialmente para lidar com formatos excepcionais e redações incomuns.

Há também um papel institucional. Ao participar da revisão, as áreas finalísticas assumem corresponsabilidade pelos dados derivados, o que fortalece a legitimidade de indicadores e relatórios baseados em extração automática. Essa corresponsabilidade precisa ser reconhecida em normas internas.

A revisão humana contribui, ainda, para preservar o direito de acesso à informação. Ao manter o vínculo entre o campo extraído e o trecho do documento original que o justificou, o revisor garante que qualquer cidadão possa reconstruir o caminho desde o dado publicado até a síntese exibida em um painel.

Em domínios sensíveis, como saúde e assistência social, estudos de recuperação da informação em saúde, como o publicado na ConCI em 2024, reforçam que a supervisão humana é indispensável nas etapas de categorização e interpretação. A mesma lógica vale quando diários e pareceres tocam em direitos individuais.

Esse ciclo só funciona se a revisão for planejada como parte do processo, com tempo, equipe e ferramentas adequados. Revisar não é um remendo colocado depois do piloto, mas um componente estrutural da governança de dados baseada em documentos públicos.

Como começar com governança desde o primeiro piloto

Um piloto de extração em documentos oficiais começa por uma decisão clara de escopo. Em vez de tentar cobrir todo o diário, gestores escolhem um conjunto restrito de tipos de publicação e campos críticos, atrelados a um uso concreto, como alimentar um painel de execução de contratos.

Definir objetivos mensuráveis vem em seguida. O piloto precisa explicitar quais decisões serão apoiadas pelos dados extraídos, que métricas de desempenho serão monitoradas e que níveis de erro são aceitáveis em cada fase. A literatura recente em compras públicas, como o estudo do IEEE ISAS 2024, oferece exemplos de métricas por campo.

Critérios de qualidade devem ser documentados desde o início. Isso inclui descrever o modelo de dados, as regras de validação de consistência, as fontes de verdade utilizadas para checagem e os procedimentos de correção quando um erro é detectado em produção.

Trilhas de auditoria são parte essencial da governança. O sistema precisa registrar quando cada campo foi extraído, em que versão do modelo, quem revisou, quais correções foram aplicadas e quais trechos do documento original sustentam o valor final. Esse histórico é o que permite responder a questionamentos futuros.

Integração com políticas de preservação digital é outro ponto de partida. O piloto deve planejar como vincular o texto original, o arquivo preservado e o conjunto de dados derivados, garantindo que alterações futuras na extração não apaguem a memória das versões anteriores e das decisões tomadas.

A articulação com dados abertos ajuda a alinhar incentivos. Quando o resultado da extração alimenta portais públicos, os critérios de qualidade e os metadados de proveniência também podem ser publicados, permitindo que pesquisadores e órgãos de controle avaliem e aprimorem o processo.

Por fim, começar com governança significa atribuir papéis explícitos. Quem é responsável pelo modelo de dados, quem responde pela infraestrutura, quem coordena a revisão e quem decide quando uma mudança de formato de documento exige reavaliação completa do pipeline. Essas decisões organizacionais sustentam a parte técnica.

Conclusão

Ao tratar o diário oficial como base de dados, o órgão assume um compromisso explícito com a rastreabilidade entre texto e campo extraído. Esse vínculo é o que permite auditar indicadores, reconstruir decisões e responder a questionamentos de órgãos de controle e da sociedade.

Modelos de extração, por mais sofisticados, não substituem a definição clara de escopo, regras de negócio e critérios de qualidade. Eles operam dentro de um arcabouço de governança que precisa ser desenhado desde o piloto, com papéis institucionais bem definidos.

Para gestores públicos, o desafio não é escolher entre automação e segurança, mas desenhar processos que combinem ambos. Isso implica aceitar a natureza probabilística da extração, medir risco de forma contínua e reservar espaço estruturado para revisão humana e correção.

Quando diários, processos e pareceres são tratados como fontes primárias de dados, preservação digital e dados abertos deixam de ser agendas paralelas. Juntas, elas garantem que o conhecimento extraído hoje permaneça verificável amanhã, sustentando decisões de longo prazo com evidências transparentes e reproduzíveis.