Risposte
Perché un confronto non è più leggibile se cambiano i prompt
Quando cambiano i prompt, un confronto tra misure di visibilità smette di essere leggibile perché le due rilevazioni non coprono più lo stesso insieme di domande. Spieghiamo come diagnosticare la discontinuità, cosa entra nell'intersezione e cosa resta non confrontabile, con una procedura operativa proposta da RankAI.
Se il set di prompt cambia tra una rilevazione e l'altra, il confronto non è più leggibile perché le due misure non descrivono lo stesso insieme di domande: le domande poste a ChatGPT e a Google in una rilevazione non coincidono più con quelle della rilevazione precedente, e la differenza che vedi può dipendere dal cambio di perimetro, non da un cambiamento di visibilità. Esempio illustrativo, non una funzione del prodotto: immagini di aver annotato dieci domande poste a ChatGPT e a Google, di aver rifatto la rilevazione con dodici prompt e di vedere il valore salire; senza sapere quali prompt sono entrati e quali sono usciti, quel salto non è interpretabile.
Le tre cause di una discontinuità
Una discontinuità tra due rilevazioni ha, in pratica, tre origini distinte, e vanno separate prima di leggere qualsiasi numero.
- Prompt aggiunti o rimossi. Il set cambia cardinalità: la media o l'aggregato si sposta perché cambia la base di calcolo, non perché cambia la risposta dei motori.
- Prompt riformulati. La domanda è la stessa nella sostanza ma il testo è diverso: per il sistema è un prompt nuovo, per chi legge è lo stesso intento. È il caso che genera più confusione.
- Misure mancanti. Se una misura di visibilità non c'è, RankAI la mostra come N/D, mai come zero. Trattare un N/D come zero produce una discontinuità artificiale che sembra un peggioramento.
Il ricalcolo sull'intersezione con un registro compilato
La proposta operativa di RankAI, non uno standard universale, è tenere un registro dei prompt con un identificativo stabile e ricalcolare il confronto solo sull'intersezione. Ecco i passi, ciascuno con un criterio verificabile.
- Assegna un identificativo stabile a ogni prompt prima della rilevazione. Criterio verificabile: due rilevazioni consecutive devono riportare lo stesso identificativo per la stessa domanda, e il conteggio degli identificativi deve essere ricostruibile a posteriori.
- Classifica ogni prompt come invariato, riformulato o nuovo nel registro. Criterio verificabile: ogni prompt riformulato ha un riferimento esplicito al prompt di origine; un prompt senza riferimento è classificato come nuovo.
- Calcola il confronto solo sull'intersezione degli identificativi invariati. Criterio verificabile: il numero di prompt nell'intersezione è dichiarato accanto al valore, e la somma di invariati, riformulati e nuovi coincide con il totale del set.
- Isola i riformulati in una lettura separata. Criterio verificabile: i riformulati non entrano nell'intersezione, perché il testo è cambiato e la risposta non è garantita equivalente; compaiono in una vista distinta, non nel confronto principale.
Cosa resta non confrontabile
Dopo il ricalcolo sull'intersezione, una parte della lettura resta fuori dal confronto e va dichiarata come tale: i prompt nuovi, i prompt riformulati e le misure assenti. Un prompt riformulato non entra nell'intersezione perché il testo diverso non consente di attribuire la differenza al motore invece che alla formulazione; resta leggibile solo come osservazione separata. Le misure assenti restano N/D e non vanno sommate né mediate come se fossero zero. In questo modo la parte confrontabile è esplicita e la parte non confrontabile non viene nascosta dentro un numero aggregato.
Il punto che spesso sfugge è che la leggibilità di un confronto non dipende dalla qualità del motore interrogato, ma dalla tracciabilità del perimetro. Un registro compilato trasforma il cambio di prompt da evento invisibile a evento documentato: sai quante domande sono rimaste identiche, quante sono state riformulate e quante sono nuove. La nostra proposta è di trattare l'intersezione come unica base del confronto principale e di tenere tutto il resto in una lettura laterale, dichiarata. Questo evita due errori simmetrici: attribuire al motore un salto che viene dal set di domande, oppure nascondere un N/D dentro una media. La disciplina del registro costa poco e rende ogni rilevazione successiva ricostruibile, anche a distanza di tempo e da parte di chi non ha compilato il registro originale.
Un limite verificabile
Il metodo descritto funziona solo se il registro è compilato prima della rilevazione: se gli identificativi vengono assegnati a posteriori, l'intersezione non è verificabile e il confronto torna a essere una lettura non tracciabile. In quel caso l'unica affermazione sostenibile è che le due rilevazioni non sono confrontabili.
Per i casi in cui il perimetro non è ricostruibile, e per la distinzione tra ciò che RankAI mostra e ciò che non misura, vedi la pagina di approfondimento.
La generazione si ferma se chiudi la scheda? Cosa controllare