Claude Fable 5.1 lidera benchmarks de agentes
No Terminal-Bench-Science, um teste para fluxos de trabalho científicos complexos, o Claude Fable 5.1 passa de 24,7 para 52,6 %. A Anthropic publicou o modelo juntamente com o Claude Mythos 5.1; o Fable 5.1 está geralmente disponível e pretende sobretudo lidar melhor com tarefas agentivas de longa duração, tarefas de programação e trabalho de conhecimento.
O aumento também se verifica noutros testes. No Terminal-Bench 4.0, que avalia tarefas de programação agentivas num ambiente de terminal, o Fable 5.1 sobe de 42,0 para 55,8 %. O AutomationBench simula tarefas de escritório em várias etapas, realizadas em diferentes aplicações, e regista uma subida de 17,1 para 31,4 %. Com a capacidade máxima de raciocínio, a Artificial Analysis mede 66 pontos no Intelligence Index — mais do que os 62 do Fable 5, os 63 do Opus 5 e os 61 do GPT-5.6 Sol. Noutro teste de trabalho de conhecimento agentivo, porém, o Fable 5.1 fica praticamente ao mesmo nível do Opus 5.
Para os programadores, o tempo de computação continua a ser um fator de custo importante. Os preços normais da interface de programação (API) não mudam: 10 dólares por milhão de tokens de entrada e 50 dólares por milhão de tokens de saída. Os Cache Reads, isto é, a recuperação de conteúdos já processados, ficam mais baratos: descem de 1 para 0,25 dólares por milhão de tokens. A Anthropic estima que isso reduza os custos totais em cerca de 25 % nas cargas de trabalho típicas e em até aproximadamente 45 % nas cargas de trabalho fortemente agentivas. A Artificial Analysis observa, contudo, que o Fable 5.1 gera cerca de 1,7 vezes mais tokens de saída do que o Fable 5; por isso, uma tarefa custou, em média, 3,76 dólares.
A Anthropic também definiu com maior precisão os mecanismos de proteção para tarefas de cibersegurança. O Fable 5.1 pode identificar vulnerabilidades no código-fonte, enquanto os testes de penetração, a criação de exploits e a análise de vulnerabilidades binárias continuam limitados. No Claude Code, as medidas de proteção são acionadas, segundo a Anthropic, em média cerca de 60 % menos vezes do que no Fable 5. O Mythos 5.1 só está acessível a utilizadores e organizações validados e dispõe de mecanismos de proteção menos rigorosos; ambos os novos modelos incluem pela primeira vez uma marca de água textual.
Concretamente, as equipas com tarefas de programação ou de conhecimento longas e compostas por várias etapas passam a dispor de um modelo geralmente disponível que obtém ganhos significativos em vários benchmarks de agentes. O preço disso não é automaticamente mais baixo: os acessos a Cache mais baratos ajudam sobretudo quando o contexto é reutilizado, enquanto um maior consumo de tokens de saída pode reduzir a vantagem. Para a maioria das aplicações, a Anthropic continua a recomendar o Opus 5; recomenda o Fable 5.1 sobretudo para tarefas especialmente exigentes e demoradas.
Comentários
A carregar a conversa…
Inicie sessão para escrever um comentário. Iniciar sessão