Riformulare un prompt con parole più frequenti porta l’accuratezza di un LLM dall’80,49% all’88,75% sul ragionamento matematico, senza alterare il significato della richiesta. È il dato centrale della legge Adams LLM, un framework pubblicato su arXiv il 2 aprile 2026 che formalizza un principio finora ignorato: a parità di significato, i modelli di linguaggio preferiscono sistematicamente le formulazioni più comuni, sia nel prompting sia nel fine-tuning.
Nell’ultimo anno la ricerca sull’efficienza dei LLM si è concentrata su due assi: la lunghezza del ragionamento — da chain-of-thought a modelli reasoning-first come DeepSeek-R1 — e la qualità dei dati di training. Il fattore frequenza testuale, pur essendo noto nella linguistica cognitiva fin dagli studi sull’attivazione neurale durante la lettura, non aveva mai ricevuto un trattamento sistematico nel contesto dei modelli di linguaggio di grandi dimensioni.
Il paper di Hongyuan Adam Lu e colleghi, arrivato primo tra i Paper of the day su Hugging Face con 357 upvote in una settimana, riempie questo vuoto con una tesi precisa: non conta solo cosa si dice a un LLM, ma con quanta frequenza quella forma espressiva appare nei dati su cui è stato addestrato.
Come funziona la legge Adams LLM
La proposta si articola in tre unità interconnesse. La Textual Frequency Law (TFL) è il principio base: data una frase, si calcola la sua frequenza a livello di frase moltiplicando le frequenze dei singoli vocaboli — ricavate da corpus aperti come Zipf frequency, basato su risorse come ParaCrawl — e normalizzando con una radice K-esima. Tra tutte le parafrasi equivalenti di un input, TFL suggerisce di selezionare quella con frequenza più alta.
Il secondo componente, la Textual Frequency Distillation (TFD), affronta un problema pratico: la frequenza calcolata dai corpus aperti è una stima indiretta, perché i dati di pre-training della maggior parte dei LLM sono chiusi. TFD chiede al modello target di completare una storia a partire dai dati di training, raccogliendo generazioni che riflettono la distribuzione interna del modello. Queste generazioni vengono usate per ricalibrare la stima, combinando stima esterna e stima distillata con pesi adattivi e un fattore di rinforzo per i vocaboli con frequenza trascurabile nel corpus aperto.
Il terzo elemento, il Curriculum Textual Frequency Training (CTFT), riordina i dati di fine-tuning dal basso all’alto in frequenza per ogni epoca. L’ipotesi — ispirata alla curriculum learning tradizionale — è che le espressioni a bassa frequenza siano più diverse tra loro e vadano affrontate per prime, consolidando poi con pattern più comuni. L’ordine inverso (da alta a bassa frequenza) è stato testato come baseline e si è dimostrato sistematicamente inferiore.
Un dettaglio che conta: nessun danno collaterale
Sul ragionamento matematico, l’analisi di intersezione tra le due partizioni del dataset rivela un pattern rassicurante: quando un modello risponde correttamente alla formulazione a bassa frequenza, risponde correttamente anche a quella ad alta frequenza. Il framework non sacrifica nessun caso già corretto — recupera solo quelli che il modello avrebbe sbagliato.
I risultati sui tre modelli testati sono coerenti: +7,99 punti su DeepSeek-V3, +8,00 su GPT-4o-mini, +8,26 su LLaMA-3.3-70B. Sulla traduzione in 100 lingue, 99 coppie su 100 migliorano in BLEU con DeepSeek-V3, con 31 lingue che guadagnano più di 3 punti e 12 più di 5.
“This paper proposes Textual Frequency Law, which suggests that high-frequency textual data should be preferred for LLMs when conducting prompting and fine-tuning, when the meaning of the data is kept the same.” — Lu et al., “Adam’s Law: Textual Frequency Law on Large Language Models”, arXiv:2604.02176, aprile 2026
I limiti: perché la legge Adams LLM è un’osservazione, non un principio universale
Il termine law nel titolo è ambizioso e la community lo ha recepito con entusiasmo — ma i limiti metodologici sono rilevanti e gli autori non li nascondono.
La stima della frequenza è indiretta. Non avendo accesso ai dati di pre-training di GPT-4o-mini o DeepSeek-V3, il framework si basa su corpus aperti integrati con la distillazione. Questo workaround è riconosciuto come costoso computazionalmente, e la correlazione tra la stima e la frequenza reale nei dati di training rimane non verificata per i modelli chiusi.
Il dataset di validazione, il Textual Frequency Paired Dataset (TFPD), è costruito ad hoc: 738 coppie per il math reasoning, 526 per la traduzione, 575 per il commonsense reasoning, 114 per il tool calling. Le parafrasi sono generate da GPT-4o-mini e filtrate da tre annotatori umani con laurea in linguistica inglese — un processo solido ma con un campione ridotto che rende difficile generalizzare.
Un dato tecnico significativo emerge dalla Tabella 5 del paper: la correlazione tra frequenza testuale e complessità sintattica — misurata con dependency tree depth e Flesch-Kincaid Grade Level — è debolissima, con Pearson correlation tra -0,08 e -0,28. Questo significa che TFL non è una variante del curriculum learning basato sulla difficoltà: cattura qualcosa di diverso, ma gli autori non offrono una spiegazione teorica profonda del meccanismo sottostante. Il rischio di semantic drift nel paraphrasing è menzionato ma non quantificato sistematicamente al di là del filtro umano.
“Using story completion to obtain frequency estimation can bring certain computational costs, yet this workaround addresses the necessity of obtaining closed-sourced training corpora of LLMs, which is often unrealistic.” — Lu et al., sezione Limitations, arXiv:2604.02176
Cosa cambia per chi progetta prompt e fine-tuning in Italia
L’implicazione più immediata è per i team che investono risorse nel prompt engineering: il paper suggerisce che una parte della variabilità nei risultati — il fenomeno documentato da Cao et al. (2024) dove prompt equivalenti producono output molto diversi — può essere ridotta sistematicamente riformulando verso espressioni ad alta frequenza. Non serve trovare il prompt perfetto per intuizione: serve trovare la parafrasi più frequente, e questo è misurabile con strumenti open-source già disponibili.
Per i team che fanno fine-tuning su modelli open-source — una pratica crescente nelle aziende italiane che adattano LLM a domini specifici come legale, finanziario o sanitario — CTFT offre un ordine di training che non richiede dati aggiuntivi, solo riordino. Su qwen2.5-7b-instruct, il solo uso di dati ad alta frequenza senza CTFT ha migliorato il BLEU del +12,17% rispetto al dataset originale FLORES-200; con CTFT aggiunto, il miglioramento sale fino al +29,96% su lingue a poche risorse come il Pangasinan.
Per il settore della traduzione automatica, l’impatto è rilevante: l’88% delle 100 lingue testate è classificato come a basse o medie risorse. L’Italia, con le sue varietà linguistiche minoritarie e i contesti aziendali multilingue, ha un interesse diretto in approcci che migliorano la traduzione senza richiedere nuovi dati paralleli per ogni lingua.
La legge Adams LLM non risolve il problema della qualità dei dati — lo sposta. La domanda non è più solo “questi dati sono corretti?” ma anche “questi dati sono formulati in un modo che il modello ha già visto migliaia di volte?”. Su 738 campioni di ragionamento matematico, il framework non ha peggiorato nemmeno un caso che era già corretto con la formulazione a bassa frequenza: ha solo recuperato quelli sbagliati.
Fonti