Visibilità AI
Prompt confrontabili nel tempo: il set stabile
Per tenere i prompt confrontabili nel tempo serve un insieme stabile di domande, versionato e congelato prima della misura. È così che le citazioni del brand su ChatGPT diventano leggibili come serie e non come fotografie scollegate.
Se vuoi capire come si tengono i prompt confrontabili nel tempo, la risposta pratica è questa: si fissa un insieme stabile di domande, lo si versiona e lo si congela prima di misurare. Immagina di voler seguire le citazioni del brand su ChatGPT mese per mese: se a ogni giro cambi le domande, il confronto salta. Con un set stabile, invece, la stessa domanda posta oggi e tra due mesi produce due risposte leggibili in sequenza, e la differenza racconta qualcosa. Il punto non è avere molte domande, ma avere le stesse domande.
Un set che si muove non è un set confrontabile
Un insieme di domande cresce, si corregge, perde pezzi. Se ogni modifica entra nella misura senza traccia, il confronto tra due rilevazioni mescola due effetti: il cambiamento del motore e il cambiamento del set. Separarli richiede un registro delle versioni, cioè un elenco scritto di cosa è cambiato, quando e perché. Senza registro, ricostruire a posteriori è un lavoro di ipotesi: chi ha aggiunto quella domanda, in che mese, prima o dopo la misura di riferimento. Il limite non è teorico, è operativo.
Il metodo RankAI, proposto come pratica operativa
Quella che segue è una proposta operativa di RankAI, non uno standard universale. Serve a rendere il set stabile e verificabile, e a collegarlo alla lettura delle citazioni del brand su ChatGPT.
- Congela il set prima della misura. Criterio verificabile: esiste un file o una tabella con l'elenco completo delle domande, e la data di congelamento precede la data della rilevazione. Se la data non c'è, il set non è congelato.
- Assegna un identificativo a ogni domanda. Criterio verificabile: ogni riga ha un codice univoco e stabile, così una domanda rinominata resta la stessa domanda e non diventa una nuova voce.
- Registra ogni versione con una riga compilata. Criterio verificabile: la riga indica cosa è cambiato, quando e da quale versione a quale. Esempio illustrativo: «v2 → v3, 12 giugno (esempio fittizio), aggiunta domanda su confronto prezzi, nessuna rimozione». Se manca uno dei tre elementi, la riga non è completa.
- Misura solo versioni congelate. Criterio verificabile: la rilevazione cita la versione del set usata. Una misura senza versione dichiarata non è confrontabile con le altre.
- Tratta l'assenza come assenza. Criterio verificabile: se una misura di visibilità non c'è, il prodotto la mostra come N/D, mai come zero. Uno zero è un dato, N/D è un dato mancante: confonderli falsa la serie.
Il punto che spesso sfugge è che il set stabile non serve solo a confrontare i motori tra loro, ma a leggere le citazioni del brand su ChatGPT come una serie e non come istantanee. Se la domanda cambia forma, la citazione che compare o scompare può dipendere dalla nuova formulazione, non da un cambiamento reale. Per questo conviene separare due livelli: il set congelato, che non si tocca durante una rilevazione, e il set di lavoro, dove si sperimentano nuove domande. Le domande sperimentali entrano nel set congelato solo alla versione successiva, con la propria riga di registro. In questo modo la serie storica resta leggibile e le novità non la contaminano. È un metodo di igiene del confronto, non una garanzia sul risultato: dice cosa hai misurato, non cosa accadrà.
Un limite verificabile
Il metodo regge solo se il registro è aggiornato prima della misura, non dopo. Un registro ricostruito a posteriori può essere plausibile ma non verificabile: manca la prova che la versione fosse quella al momento della rilevazione. Se il registro non esiste, il confronto tra due rilevazioni resta un'ipotesi, non un dato.
Per il quadro completo su come leggere queste misure, vedi la pagina di approfondimento.