Le truffe AI documentate da The Verge hanno portato un singolo video TikTok a 6,5 milioni di visualizzazioni, 814.000 like e quasi 30.000 commenti usando un'avatar sintetica che fingeva di vendere fibbie artigianali. Il caso non riguarda un falso isolato: The Verge ha trovato decine di account simili, spesso collegati a prodotti in dropshipping e costruiti attorno a personaggi AI presentati come piccoli imprenditori in difficoltà.
La tensione non sta solo nella frode commerciale. Sta nel modo in cui video brevi, identità razzializzate, automazione dei commenti e shop online si saldano in una macchina di persuasione a basso costo. Il risultato è un nuovo formato di social commerce: non vende solo un prodotto, vende una persona che non esiste.
Come funzionano le truffe AI su TikTok Shop
Il meccanismo parte da un avatar AI, cioè un volto sintetico generato o animato da modelli video, a cui viene assegnata una storia personale. Nel caso raccontato da The Verge, Aliyah appare come una donna Black che lavora a mano fibbie in pelle e piange perché nessuno compra i suoi prodotti. In altri account cambiano nome, oggetto e microdramma: borse crochet, tazze western, cardigan, accessori. La struttura resta riconoscibile.
Il passaggio tecnico decisivo è la replicabilità. Chi produce questi video può prendere uno script già virale, estrarne la struttura con strumenti generativi, creare varianti minime e sostituire l'influencer reale con un personaggio sintetico. Il dropshipping, modello in cui il venditore promuove prodotti che un fornitore terzo produce e spedisce, completa il ciclo: l'account non deve possedere magazzino, laboratorio o competenze artigianali. Deve solo generare abbastanza fiducia da spostare il clic verso lo shop.
TikTok conosce il problema dei contenuti sintetici. Nella sua guida ufficiale sull'AI-generated content, la piattaforma chiede ai creator di etichettare contenuti realistici generati o modificati con AI. Nel 2024 ha anche annunciato l'adozione dei Content Credentials, standard C2PA che lega metadati verificabili ai contenuti.
“La label aiuta a rendere chiaro il contesto.”
Fonte: TikTok, aggiornamento su C2PA e contenuti AI, traduzione AI Focus News
Il limite sta nella catena completa. L'etichetta funziona quando il contenuto porta metadati leggibili, quando il creator dichiara l'uso di AI o quando il sistema riconosce segnali tecnici affidabili. Ma un video scaricato, ricodificato, ricaricato o assemblato da più strumenti può perdere parte della tracciabilità. La truffa nasce proprio in quella zona grigia: abbastanza realistica da attivare empatia, abbastanza generica da scalare, abbastanza ambigua da non essere fermata subito.
Perché le truffe AI sfuggono a etichette e moderazione
Le piattaforme stanno spostando la risposta dal divieto alla contestualizzazione. Meta lo ha detto nella sua policy su AI-generated content e manipulated media: il vecchio approccio, centrato su pochi video manipolati, non basta più per immagini, audio e contenuti realistici prodotti in massa, infatti parecchi video, inclusi questi due qui sopra mancano di etichette “contenuto generato da AI”. Da maggio 2024 Meta ha iniziato a etichettare contenuti AI organici usando segnali condivisi dall'industria e autodichiarazioni degli utenti.
Per le truffe AI, però, la label non risolve la manipolazione emotiva. Un contenuto può dichiararsi sintetico e restare comunque ingannevole se costruisce una falsa relazione commerciale, simula vulnerabilità sociale o usa identità razziali come leva di conversione. Nel caso delle avatar Black citate da The Verge, il problema non è solo “questo video è generato”. Il problema è che la generazione serve a impersonare una condizione sociale, una minoranza e una storia di esclusione per vendere merce prodotta altrove.
Anche i dati sulle frodi mostrano che l'impersonificazione non è un dettaglio marginale. In un Data Spotlight, la Federal Trade Commission ha riportato che nel 2023 i consumatori statunitensi hanno segnalato oltre 330.000 truffe con impersonificazione di aziende e quasi 160.000 di enti governativi, con perdite sopra 1,1 miliardi di dollari. Qui cambia il volto dell'impersonificazione: non Amazon o una banca, ma una microimprenditrice fittizia.
La sezione critica va oltre il falso positivo o il falso negativo della detection. Se il sistema modera solo il contenuto visivo, perde l'intenzione commerciale. Se modera solo lo shop, perde il video che crea fiducia. Se modera solo la dichiarazione AI, ignora l'uso di dialetti, nomi, tratti somatici e commenti automatizzati per simulare appartenenza. La domanda scomoda è questa: quante frodi devono sembrare storie personali prima che una piattaforma le tratti come infrastruttura commerciale, non come contenuto creativo?
Il nodo strategico: AI Act, marketplace e fiducia
Chi segue il settore da vicino sa che questa vicenda arriva in un momento preciso. I marketplace vogliono accorciare il percorso tra intrattenimento e acquisto; i modelli generativi abbassano il costo di produzione dei contenuti; le piattaforme cercano standard tecnici di provenienza per non moderare ogni video a mano. La collisione era prevedibile.
L'AI Act europeo, articolo 50, sposta il problema dal buon senso alla compliance. I provider di sistemi che generano audio, immagini, video o testo sintetici devono rendere gli output rilevabili come artificiali, quando tecnicamente possibile. Chi usa sistemi AI per produrre o manipolare contenuti che costituiscono deepfake deve dichiarare che il contenuto è stato generato o manipolato.
“Gli output devono essere marcati in formato leggibile da macchina.”
Fonte: AI Act, articolo 50, traduzione AI Focus News
Per i marketplace, questa norma crea un punto operativo: la provenance digitale non può restare un badge estetico. Deve entrare nei flussi di onboarding dei venditori, nelle policy per creator affiliati, nei controlli sui cataloghi e nei sistemi di segnalazione. TikTok Shop ha già dichiarato nel suo Safety Report di aver respinto 1,4 milioni di richieste di registrazione venditore e oltre 70 milioni di inserzioni prodotto nel primo semestre 2025. Sono numeri da infrastruttura finanziaria, non da app di intrattenimento.
Il trade-off è evidente. Più i social diventano negozi, più devono comportarsi come intermediari commerciali. Ma se chiedono ai creator di vendere con autenticità e al tempo stesso consentono avatar sintetici, script replicati e identità fittizie, scaricano sul consumatore il costo della verifica. Nel lungo periodo, questa frizione può pesare più di una singola truffa: logora la fiducia nel canale.
Cosa cambia per aziende e professionisti italiani
Per l'Italia il tema non è remoto. Secondo AGCOM, nel giugno 2024 le piattaforme e-commerce hanno superato 39 milioni di utenti unici, mentre i portali e le community con contenuti generati dagli utenti hanno raggiunto oltre 39,4 milioni di utenti. Facebook contava 37,2 milioni di visitatori, Instagram 33,8 milioni e TikTok cresceva del 7,1% su base annua. Il bacino per truffe AI, campagne affiliate opache e video shoppable è già qui.
Il mercato online italiano continua a espandersi. L'Osservatorio eCommerce B2c Netcomm del Politecnico di Milano stima per il 2025 oltre 62 miliardi di euro di acquisti online da parte degli italiani, con prodotti sopra i 40 miliardi. Nello stesso tempo, ISTAT indica che solo il 45,9% della popolazione tra 16 e 74 anni possiede competenze digitali almeno di base. Questo squilibrio crea un mercato maturo nei volumi e vulnerabile nella lettura critica dei segnali.
Per i brand italiani, il primo impatto riguarda la brand safety. Un prodotto può comparire in video generati da terzi, affiliati non controllati o account che simulano microimprese locali. Le aziende che vendono tramite marketplace o creator devono verificare non solo dove appare il logo, ma anche quale identità narrativa vende il prodotto. Un conto è usare AI per tradurre, montare o adattare creatività. Un altro è costruire un venditore inesistente.
Per agenzie, consulenti e team marketing, cambiano le procedure. Servono policy interne su contenuti sintetici, archivi dei prompt e degli asset, dichiarazioni contrattuali con creator e fornitori, controlli sulle campagne affiliate, escalation rapide verso piattaforme e marketplace. Chi lavora nelle applicazioni AI per retail e advertising dovrà progettare tool che tracciano contenuto, consenso e canale commerciale nello stesso flusso. Chi opera nei settori AI regolati dovrà leggere la compliance come un requisito di prodotto.
La regola pratica è : non fidarsi del volto. Serve controllare partita IVA, dominio dello shop, condizioni di reso, coerenza tra storia raccontata e filiera del prodotto, presenza di label AI e dati del venditore. Le truffe AI funzionano perché trasformano la verifica in un atto emotivamente sgradevole: dubitare di una persona che sembra fragile. Ma nel giugno 2024, secondo AGCOM, i social network in Italia hanno raggiunto 39,496 milioni di utenti unici.
Fonti citate
- Partnering with our industry to advance AI transparency and literacy , TikTok Newsroom, 9 maggio 2024.
- Article 50: Transparency obligations for providers and deployers of certain AI systems , AI Act Service Desk / Commissione europea, testo ufficiale 13 giugno 2024.
- Impersonation scams: not what they used to be , Federal Trade Commission, aprile 2024.