[IA na veIA nº 45] Como transformar um LLM em um cientista e não em um papagaio estatístico

Sumário

---

O que é IA na veIA?

IA na veIA é uma iniciativa que explica os avanços da inteligência artificial com bom humor e analogias divertidas vindas direto do universo Geek. Aqui, conceitos complexos ganham vida através de comparações com filmes, séries, games e HQs, tornando a tecnologia mais próxima e muito mais divertida para todos.

A missão é democratizar o conhecimento sobre inteligência artificial, aproximando a comunidade científica do público leigo sem aquele “tecniquês” que dá sono. Ao usar referências de sagas épicas, super-heróis ou mundos de fantasia, transformamos pesquisas e inovações em histórias que qualquer fã de cultura pop entende e curte.

Essa abordagem cria uma ponte entre especialistas e curiosos, incentivando debates sobre o impacto ético, social e econômico da IA de forma leve, mas consciente. O resultado é uma conversa mais inclusiva, onde qualquer pessoa pode entender e participar da construção do nosso futuro tecnológico.

Se você é fã de IA e também vibra com referências Geek, o IA na veIA é o seu portal para explorar ciência com uma boa dose de risadas e imaginação.

Vamos revisar o paper a seguir:

• Think like a Scientist: Physics-guided LLM Agent for Equation Discovery
• Link do paper

---

Quem é Celso Sousa?

Celso Sousa é especialista e palestrante de inteligência artificial (IA), com doutorado em IA pela USP. Além disso, ele possui mais de 15 anos de experiência no mercado de IA para negócios.

Celso participou da gestão e/ou desenvolvimento de diversos projetos de IA nos setores financeiro e agronegócio. Alguns dos projetos de inteligência artificial mais relevantes na carreira dele são:

• previsão de produtividade de fazendas;
• reconhecimento visual de nematóides;
• visão computacional para monitoramento de rebanhos por drones;
• identificação de públicos vulneráveis;
• sistema de gerenciamento de pastejo rotacionado;
• identificação de irregularidades em notas fiscais de serviço.

Celso ministrou vários treinamentos e mentorias sobre inteligência artificial nos últimos anos. Ainda mais, ele foi Cientista Chefe na Secretaria das Finanças de Fortaleza-CE na auditoria fiscal.

O foco do Celso é desenvolver soluções de IA para empresas de todos os portes e segmentos. Entretanto, a prioridade é criar soluções de IA de baixo custo para empresas de pequeno e médio porte.

Celso iniciou a sua carreira ao abrir uma consultoria de inteligência artificial em 2009. Portanto, ele adquiriu muita experiência prática de como gerar resultados expressivos para as empresas usando IA.

A pesquisa científica do Celso é sobre classificação em grafos para alavancagem de negócios com marketing analytics. Além disso, ele publicou artigos científicos em diversas conferências internacionais de renome em 4 continentes.

Hoje ele aplica sua experiência na IA para ajudar os empresários a aumentarem os seus lucros. Ainda mais, ele implementa automações com agentes de IA para que os empresários tenham mais liberdade.

Essas automações podem ser aplicadas em diversos setores, como marketing, vendas, recursos humanos, tecnologia, financeiro, atendimento, etc.

Fale com o especialista e palestrante de inteligência artificial Celso Sousa nas redes sociais:

• Instagram: https://www.instagram.com/celsosousaia
• LinkedIn: https://www.linkedin.com/in/celso-sousa/

---

Visão geral do paper

A ciência nunca foi sobre chutar fórmulas bonitas que encaixam nos dados. Sempre foi sobre entender estrutura, simetria, invariância e restrição antes de escrever qualquer equação. E é exatamente aqui que a maioria dos sistemas de symbolic regression, inclusive os turbinados por LLMs, tropeçam feio.

Desde Schmidt & Lipson, a ideia de extrair leis físicas diretamente de dados virou quase um sonho molhado da IA. Brunton et al deram um passo além com SINDy, mostrando que esparsidade podia revelar dinâmicas ocultas como se fosse um feitiço bem executado em Hogwarts. Só que magia nenhuma resolve quando o espaço de hipóteses explode como um boss final mal balanceado.

Udrescu & Tegmark trouxeram o AI Feynman e reforçaram a importância de usar estrutura física para reduzir busca. Yang et al avançaram com simetrias explícitas em equações diferenciais. Mesmo assim, a maioria das abordagens ainda depende de configuração manual pesada, quase como montar uma build de LoL sem entender o meta.

LLMs entraram na arena prometendo resolver isso com raciocínio generalista. Shojaee et al mostraram que LLMs podem propor esqueletos de programas matemáticos. O problema é que muitas dessas abordagens tratam a descoberta de equações como um jogo de adivinhação estatística, não como investigação científica.

Cientistas humanos não olham dados e gritam uma fórmula final como se fosse uma ultimate do Naruto. Eles primeiro perguntam sobre simetrias, conservação, dimensionalidade e comportamento qualitativo. Ignorar isso é como tentar derrotar Thanos sem estudar as Joias do Infinito.

Resolver essa lacuna não é apenas uma questão técnica. É epistemológica. Se queremos que IA faça ciência de verdade, ela precisa raciocinar sobre estrutura antes de otimizar coeficientes.

---

KeplerAgent: o cientista que usa ferramentas como um engenheiro Jedi

Jianke Yang et al apresentam o KeplerAgent como uma mudança de paradigma. Em vez de usar LLMs como máquinas de gerar equações, eles os transformam em agentes que orquestram ferramentas físicas e algoritmos de symbolic regression .

A sacada é simples e poderosa. O agente primeiro extrai estrutura intermediária usando ferramentas como análise de simetria, visualização e análise estatística. Só depois configura PySINDy ou PySR com restrições informadas.

Isso resolve um problema clássico. Configuração manual de bibliotecas de funções é um inferno. Muito restritiva e você perde a solução verdadeira. Muito ampla e o espaço vira um multiverso caótico pior que qualquer linha do tempo alternativa da Marvel.

Simetrias como Força invisível

O módulo de descoberta de simetria aprende um gerador de Lie via otimização sobre erro de equivariância. A matriz A define um campo vetorial v_A = (Ax)·∇, e o erro mede violações de equivariância.

Isso é lindo porque traduz simetria em restrição linear sobre o espaço de parâmetros do SINDy. É como descobrir que um chefe tem vulnerabilidade a gelo antes de escolher sua build.

Templates inteligentes no PySR

No caso do PySR, o agente propõe templates estruturais antes da busca genética. Em vez de explorar árvores arbitrárias gigantes, ele restringe a forma geral da equação.

Isso reduz drasticamente a complexidade combinatória. É a diferença entre procurar uma agulha no multiverso e procurar numa gaveta organizada.

---

O mundo sem KeplerAgent: a era da adivinhação cara e frágil

Sem esse tipo de agente estruturado, continuamos presos a duas estratégias ruins. Ou fazemos busca cega gigantesca com custo absurdo, ou confiamos demais em prompts engenhosos esperando que o LLM adivinhe corretamente.

No benchmark DiffEq, os métodos tradicionais sofrem brutalmente com ruído. É como jogar Dark Souls com lag. Cada erro se acumula na simulação de longo prazo.

Sem restrições estruturais, pequenos desvios nos coeficientes geram divergências explosivas na integração numérica. Isso aparece claramente nos experimentos de predição temporal prolongada descritos no artigo .

A consequência prática é séria. Em sistemas reais, erro acumulado significa falha de previsão, controle inadequado e decisões erradas. Não é só sobre métrica bonita.

---

A arquitetura do agente: como um RPG científico em múltiplos níveis

A arquitetura segue um padrão ReAct. O agente mantém workspace e experience log, registrando cada chamada de ferramenta .

Workspace: o grimório do mago

Arquivos intermediários, visualizações e resultados ficam acessíveis para raciocínio iterativo. Isso permite refinamento incremental do espaço de hipóteses.

Symmetry discovery: otimizando geradores de Lie

Treina-se um MLP pequeno como preditor substituto das derivadas. Depois otimiza-se A minimizando:

E_x || J_fθ(x)(Ax) − (Ax)·∇ fθ(x) ||²

Quando esse termo vai a zero, temos equivariância exata. É quase como detectar uma transformação secreta que preserva a dinâmica.

PySINDy com EquivSINDy

Ao ativar use_symmetry=True, o espaço de parâmetros é restringido ao subespaço compatível com o gerador. Isso reduz dimensionalidade efetiva e aumenta chance de recuperar equação correta.

Comparado ao SINDy clássico, é como reduzir de um mapa aberto caótico para uma dungeon linear com pistas claras.

PySR com templates

O argumento expression_spec permite definir placeholders como f(x1,x2)+g(x3). Isso guia a busca genética.

É um golpe estratégico contra explosão combinatória. Não elimina a busca, mas a civiliza.

---

Resultados: onde os números mostram quem é o protagonista

Agora vem a parte que separa hype de evidência.

LSR-Transform: precisão simbólica vs ajuste numérico

No benchmark LSR-Transform, KeplerAgent @3 atinge 42.34% de symbolic accuracy, superando PySR (37.84%) e LLM-SR (31.53%) .

Esse salto de quase 5 pontos percentuais sobre PySR é como ganhar 5 níveis num RPG competitivo. Pequeno na aparência, decisivo na prática.

O NMSE médio de LLM-SR é menor, mas o artigo argumenta que isso reflete otimização direta de MAPE. Ajuste numérico não é descoberta simbólica.

Mediana de NMSE do agente também permanece competitiva, mostrando robustez contra outliers. Não é só sorte estatística.

Eficiência computacional: tokens são mana

KeplerAgent usa 42k tokens em @1 e 125k em @3, contra 209k do LLM-SR . Isso é quase metade do custo.

Runtime médio também é drasticamente menor que PySR puro, que chega a 2440 segundos. O agente tipicamente finaliza em poucas iterações.

É como terminar uma raid em 20 minutos enquanto o outro grupo ainda está tentando entender a mecânica.

DiffEq: onde a estrutura brilha

Aqui o jogo muda. Em sistemas ODE/PDE, KeplerAgent atinge 75% symbolic accuracy em dados limpos e 45% com ruído .

Compare isso com PySR: 40% limpo, 15% ruidoso. Ou LLM-SR: 30% limpo, 10% ruidoso.

No regime ruidoso, o agente é 3 vezes melhor que o melhor baseline. Isso não é detalhe estatístico. É mudança de paradigma.

NMSE pointwise e long-term

NMSE pointwise em dados ruidosos: 0.15 para KeplerAgent contra 5.89 do PySR .

Isso é quase duas ordens de magnitude. É a diferença entre dano leve e wipe total na party.

No NMSE em t_max, o agente também domina com 0.33 contra 2.80 do PySR em dados ruidosos .

Predição de longo prazo é o teste real. Pequenos erros locais acumulam como juros compostos do caos.

Curvas de erro temporal

Os gráficos de erro ao longo do tempo mostram que baselines frequentemente divergem. Algumas simulações simplesmente falham.

KeplerAgent mantém erro controlado em maioria dos sistemas. É como ter controle de estabilidade enquanto outros carros giram na pista molhada.

Análise estatística implícita

Mesmo com apenas 20 equações no DiffEq, a diferença de 75% vs 40% sugere ganho substancial.

Assumindo distribuição binomial, diferença de 35 pontos percentuais em 20 amostras é altamente significativa. Não é ruído amostral trivial.

Isso indica que a incorporação explícita de estrutura reduz variância do estimador simbólico.

---

Hype da IA científica: estamos realmente pensando?

Vamos ser honestos. A indústria adora manchetes tipo “LLM descobre leis da física”. Parece trailer de Vingadores.

Mas muitas vezes estamos apenas fazendo fitting esperto com modelos grandes. Descobrir equação exata sob ruído é outro nível.

KeplerAgent mostra que orquestração e restrição estruturada importam mais que aumentar parâmetro do modelo.

Não é sobre mais tokens. É sobre melhor raciocínio. É sobre agir como cientista, não como autocomplete sofisticado.

---

O próximo nível: ferramentas, estado estruturado e fuga da ilusão

O próprio artigo admite limitações. O agente ainda repete chamadas ineficientes em certos casos .

Falta ainda modelar explicitamente o estado do espaço de hipóteses. Imaginem um sistema onde cada ferramenta transforma formalmente esse estado.

Isso permitiria analisar trajetórias de raciocínio como árvores de decisão científicas. Seria como ter logs completos da campanha de D&D.

O futuro não está em LLMs mais gigantescos, mas em agentes que combinam conhecimento simbólico, ferramentas algorítmicas e restrições físicas.

Se você quer trabalhar com IA científica de verdade, precisa entender simetrias, invariâncias e sparsity tão bem quanto entende transformers.

Leia o paper completo. Estude os detalhes matemáticos da descoberta de simetria e do EquivSINDy. É ali que está a diferença entre hype e ciência.

Se queremos que IA descubra as próximas leis do universo, ela precisa primeiro aprender a pensar como um cientista. E isso começa com você dominando essas ferramentas agora.

---

Categoria

Lista de tags

---