Claude Sonnet 4.6 completa solo il 33,3% dei 153 task quotidiani su siti web reali valutati da CLAWBENCH, il nuovo benchmark agenti AI che misura le capacità operative su 144 piattaforme live, mentre GPT-5.4 crolla al 6,5% — un divario netto rispetto al 65-75% che entrambi i modelli raggiungono su benchmark tradizionali, consulta il Glossario AI, come OSWorld e WebArena. Il paper, pubblicato su arXiv il 9 aprile 2026 e attualmente in attesa di peer review, documenta il primo framework di valutazione che sposta il test degli agenti da sandbox statiche a siti di produzione, preservando la complessità autentica del web: rendering JavaScript dinamico, popup di consenso, flussi di autenticazione e layout in continua evoluzione.
Panoramica di CLAWBENCH. Sinistra: 153 task distribuiti su 15 categorie di vita quotidiana. Centro: i benchmark esistenti valutano gli agenti in sandbox offline con HTML statico e strutture DOM fisse; CLAWBENCH valuta su siti web live con la complessità del mondo reale e fornisce verdetti dettagliati e tracciabili tramite un valutatore agentico. Destra: Claude-Sonnet-4.6 e GPT-5.4 raggiungono un tasso di completamento dei task del 65-75% su benchmark consolidati come OSWorld e WebArena, ma si attestano rispettivamente al 33,3% e al 6,5% su CLAWBENCH, sottolineando la difficoltà dei task web quotidiani in scenari reali.
Il panorama degli agenti autonomi per il web ha registrato un’accelerazione marcata nel biennio 2025-2026, con sistemi commerciali come OpenAI Operator e Anthropic Computer Use che promettono automazione end-to-end di workflow complessi. Tuttavia, la maggior parte delle valutazioni pubbliche si è finora svolta in ambienti controllati: HTML statico, DOM fissi, nessuna interazione write-heavy con conseguenze reali. CLAWBENCH rompe questo schema misurando la capacità degli agenti di “portare a termine” task concreti — prenotare un volo, compilare un modulo di candidatura, completare un acquisto — su piattaforme reali, dove l’errore in un campo del form o l’omissione di un passaggio intermedio blocca l’intero processo. Il risultato è un gap misurabile tra le performance dichiarate sui benchmark esistenti e la competenza operativa in produzione.
Meccanismo tecnico del benchmark agenti AI: intercettazione e registrazione
CLAWBENCH risolve il problema della sicurezza senza sacrificare la validità ecologica attraverso un meccanismo mirato: invece di impedire all’agente di interagire con siti reali, il sistema intercetta esclusivamente la richiesta HTTP finale che committerebbe una transazione irreversibile. Una estensione Chrome leggera, abbinata a un server di strumentazione basato su Chrome DevTools Protocol, monitora il traffico in uscita e blocca il payload terminale prima che raggiunga il server, registrandone il contenuto completo per la valutazione. Tutte le altre richieste — caricamento pagine, chiamate AJAX, fetch di immagini — passano inalterate, garantendo che l’agente sperimenti il sito esattamente come un utente umano.
“Unlike existing benchmarks that evaluate agents in offline sandboxes with static pages, CLAWBENCH operates on production websites, preserving the full complexity, dynamic nature, and challenges of real-world web interaction.”
Ogni esecuzione produce cinque layer sincronizzati di dati comportamentali: replay della sessione video, screenshot per ogni azione, traffico HTTP completo, messaggi dell’agente (tracce di ragionamento e tool call), e azioni browser a basso livello (click con coordinate, keystroke, scroll). Annotatori umani completano ogni task nello stesso setup per generare traiettorie di riferimento ground-truth.
Immagine: La pipeline di valutazione di CLAWBENCH. Setup: un task definito da annotatori umani con condizioni di verifica esplicite. Esecuzione: l’agente opera in un browser reale mentre vengono registrati cinque livelli di dati comportamentali. Valutazione: la traiettoria registrata viene confrontata con una traiettoria ground-truth umana tramite un Agentic Evaluator, che produce un verdetto binario pass/fail accompagnato da una giustificazione step-level.
La valutazione avviene tramite un Agentic Evaluator che invoca un sub-agente Claude Code sotto una rubrica fissa: confronta la traiettoria dell’agente con quella umana, allinea i passaggi, rileva divergenze e produce un verdetto binario con giustificazione strutturata ancorata allo schema del payload e alle evidenze step-level. Il benchmark è open-source: codice e pipeline sono disponibili sul repository GitHub ufficiale, consentendo alla community di contribuire al mantenimento e all’espansione del dataset.
Criticità e limiti del benchmark agenti AI
CLAWBENCH introduce realismo ma non elimina tutte le fonti di incertezza. Il meccanismo di intercettazione si basa su segnali annotati manualmente da esperti umani per ogni task: l’annotatore identifica l’endpoint HTTP, il metodo e lo schema del payload che corrispondono alla submission irreversibile. Questo approccio garantisce precisione — la validazione su tutti i 153 task ha mostrato intercettazione corretta nel 100% delle run ground-truth con zero falsi positivi — ma introduce un collo di bottiglia operativo: ogni nuovo task richiede annotazione manuale, limitando la scalabilità automatica del benchmark. Inoltre, i task sono filtrati per escludere servizi a pagamento, restrizioni geografiche e siti offline, riducendo la copertura di scenari che richiedono autenticazione con credenziali personali o pagamenti effettivi.
La valutazione confronta la traiettoria dell’agente con un riferimento umano singolo: percorsi alternativi validi potrebbero essere penalizzati se divergono dalla sequenza annotata, anche se raggiungono lo stesso outcome. I 7 modelli testati includono solo due sistemi open-source (GLM-5 e Kimi K2.5), entrambi con performance inferiori al 25%, ma il benchmark non include agenti specializzati per domini verticali o framework che integrano tool esterni via Model Context Protocol. Infine, il paper è un pre-print in attesa di peer review: i risultati vanno interpretati come evidenza preliminare, soggetta a revisione esterna.
“The five-layer recording makes each failure traceable to specific steps, providing concrete diagnostic signals for future agent development.”
Questi limiti definiscono i confini entro cui i risultati vanno interpretati. CLAWBENCH misura la capacità di completare task write-heavy su piattaforme live con complessità autentica; non misura la robustezza a dark pattern, la gestione di flussi di autenticazione multi-fattore, o l’adattamento a cambiamenti improvvisi del layout dopo la raccolta dei dati ground-truth. La tracciabilità step-level delle failure, tuttavia, trasforma ogni errore in un segnale diagnostico utilizzabile per il miglioramento iterativo degli agenti.
Implicazioni per professionisti e aziende italiane
Per le organizzazioni che stanno valutando l’adozione di agenti AI per automazione web, CLAWBENCH fornisce un segnale chiaro: le performance su benchmark sandbox non sono predittive della capacità operativa in produzione. Un modello che dichiara il 70% di successo su OSWorld può fallire due task su tre quando deve compilare moduli reali, gestire popup di consenso, o navigare workflow multi-step con validazione lato server.
Questo gap ha implicazioni dirette per i progetti di automazione in settori come turismo, e-commerce, recruiting e servizi finanziari, dove l’errore in un campo del form o l’omissione di un passaggio intermedio può bloccare l’intero processo. Nel panorama dei modelli AI enterprise, il benchmark rappresenta uno strumento per confrontare fornitori su metriche legate all’esecuzione reale, non solo alla qualità della generazione testuale.
Le aziende italiane che sviluppano o integrano agenti per il web dovrebbero incorporare CLAWBENCH nella pipeline di valutazione interna, affiancandolo a test su scenari specifici del proprio dominio. La tracciabilità step-level consente di identificare pattern ricorrenti — incapacità di estrarre informazioni da documenti forniti dall’utente, errori nella compilazione di campi con validazione complessa, divergenze nella sequenza di interazione — e indirizzare il fine-tuning o la progettazione dei prompt in modo mirato. Il dato più rilevante per i decisori tecnici è la variabilità per categoria: Claude Sonnet 4.6 eccelle su task Daily (44,2%) e Finance (50,0%), ma scende all’11,1% su Dev e al 19,0% su Work.
Nessun modello mostra competenza uniforme. Questo suggerisce che la selezione del modello va calibrata sul dominio specifico dell’applicazione, e che architetture ibride — modelli diversi per categorie diverse, o routing basato sul tipo di task — possono offrire vantaggi pratici rispetto all’adozione di un singolo agente generalista.
CLAWBENCH non chiude la questione; la apre con dati misurabili. Il benchmark è disponibile pubblicamente, e la sua adozione da parte della community determinerà se diventerà lo standard de facto per la valutazione realistica degli agenti web. Per ora, il messaggio per professionisti e aziende è inequivocabile: testare in sandbox non basta. La competenza reale si misura su siti live, con task write-heavy, e con metriche che catturano non solo il risultato finale ma ogni passo del percorso.
Fonti primarie
Paper arXiv: ClawBench: Can AI Agents Complete Everyday Online Tasks? — Yuxuan Zhang et al. (UBC, Vector Institute, Waterloo et al.), , pubblicato il 9 aprile 2026. Pre-print in attesa di peer review.
Fonti secondarie
- Sito ufficiale: claw-bench.com — Portale del progetto con overview del benchmark e accesso ai dati.
- Repository GitHub: Codice open-source della pipeline di valutazione e strumentazione browser, rilasciato dagli autori per consentire riproduzione e contributi community.