Una checklist di copertura dei dati dei paesi sembra un artefatto semplice finché non arriva il primo litigio su un numero. Due persone contano lo stesso set di dati, ottengono due totali diversi e nessuna delle due sbaglia. Il disaccordo quasi mai riguarda l’aritmetica; riguarda cosa si stava contando e chi ha deciso che una cella vuota fosse un problema.
Questo articolo tratta la checklist come uno strumento di misurazione. Copre i tre stati in cui un campo può trovarsi, la scelta del denominatore che rende significativa una percentuale e la forma di un elenco che qualcun altro può verificare senza chiederti cosa intendevi.
Cosa dovrebbe contare davvero una checklist di copertura?
La risposta onesta è che conta accordi, non valori. Per ogni combinazione di un paese e un campo, la checklist dovrebbe registrare se l’aspettativa del modello dati e la realtà di quel paese coincidono.
Questa impostazione cambia l’aspetto di una lacuna. Una cella vuota non è automaticamente un difetto, e una cella piena non è automaticamente copertura. L’unità misurata è una decisione: per questo paese, questo campo dovrebbe contenere qualcosa, e lo fa? Tutto il resto della checklist deriva dal rispondere a questa domanda per paese invece che per tabella.
Una checklist che riporta un unico dato riassuntivo è quasi inutile per questo motivo. Riassume migliaia di decisioni in un solo numero e scarta le informazioni di cui un lettore ha bisogno per agire.
I tre stati: applicabile, non applicabile, mancante
Tre stati devono essere tracciati separatamente, e confonderne due qualsiasi è ciò che rende le cifre di copertura più piatte della realtà.
| Stato | Significato | Cosa richiede |
|---|---|---|
| Applicabile e presente | Il paese ha questo tipo di dati e un valore è memorizzato | Nulla, oltre a mantenerlo aggiornato |
| Non applicabile | Il sistema di questo paese non ha affatto un campo simile | Un contrassegno esplicito, così nessuno cerca un valore che non può esistere |
| Mancante | Il paese dovrebbe avere un valore e non ce l’ha | Una correzione, un responsabile e una data |
Lo stato intermedio è quello che si perde. Quando viene registrato come cella vuota, in seguito viene letto come lacuna, e qualcuno passa una settimana a cercare di riempire qualcosa che non ha una fonte. Quando viene registrato come valore — un segnaposto come uno zero o una stringa vuota — i report a valle ereditano un fatto falso e lo trattano come reale.
Registrare i tre stati in modo distinto è anche ciò che mantiene onesto il denominatore. La copertura misurata sui campi applicabili risponde a una domanda; la copertura misurata su tutti i campi ne risponde a un’altra, e solo la prima può migliorare.
La copertura va misurata per paese o per campo?
Entrambe, e la scelta deve essere messa per iscritto, perché le due cifre possono discordare nettamente.
Per paese, la domanda è quanto completamente è rappresentato un dato paese. Per campo tra i paesi, la domanda è se un campo è ampiamente utilizzabile o esiste solo per una manciata di voci. Un campo presente ovunque tranne in una regione appare eccellente per campo e appare come un buco per paese.
Due convenzioni prevengono la maggior parte della confusione. Dichiara il denominatore nell’intestazione della tabella invece che in una nota a piè di pagina. E tieni separati i valori ponderati e non ponderati: pesare per traffico, per fatturato o per numero di record risponde a una domanda di business, mentre contare i paesi risponde a una domanda sui dati. Una checklist che li mescola produce un numero che nessuno può difendere.
L’insieme minimo di campi e tutto ciò che sta sopra
Parti dai campi di cui essenzialmente ogni paese ha una forma — un codice, un nome, una valuta, un fuso orario — e chiama questo l’insieme minimo. Misuralo per primo e pubblicalo separatamente.
Il motivo è il rapporto segnale-rumore. I campi opzionali differiscono così tanto tra i paesi che un unico totale misto non ti dice quasi nulla su nessuno dei due gruppi. Mantenere l’insieme minimo in un blocco unico significa che un guasto lì è un vero avviso, mentre un campo opzionale esile può essere discusso nei suoi termini.
Sopra l’insieme minimo, elenca ogni campo opzionale con i paesi in cui si applica, i paesi in cui non si applica e i paesi in cui la risposta è ancora sconosciuta. Quella terza colonna è la parte che la maggior parte delle checklist omette, ed è di solito la più utile, perché è una coda di lavoro e non un verdetto.
Come si registra un paese con più di una lingua ufficiale?
Un paese con diverse lingue ufficiali infrange il presupposto che ogni riga contenga un solo valore per colonna. Che la colonna delle lingue sia a valore singolo o a valori multipli è una decisione di modellazione, e andrebbe presa prima di inserire la prima riga, non dopo che il primo report è tornato sbagliato.
Se la colonna contiene un solo valore, qualcos’altro — una tabella separata o una regola esplicita — deve portare il resto, e la checklist deve dire quale. Se ne contiene diversi, ogni conteggio nel foglio deve essere chiaro se un paese con diversi valori contribuisca con una riga o con diverse, perché questa scelta cambia ogni totale sottostante.
La stessa domanda vale per la valuta e per i nomi delle suddivisioni, che sono ugualmente capaci di essere plurali all’interno di un solo paese. La checklist non deve risolvere il dibattito di modellazione, ma deve registrare quale risposta è stata scelta, così un lettore successivo può distinguere una decisione da una svista.
Per gli sviluppatori: rendere interrogabile la checklist
Una checklist che vive in un documento viene letta una volta e abbandonata. Una checklist interrogabile viene verificata in una pipeline e resta vera.
Rappresentala come dati: un record per paese e campo, con lo stato, la fonte, la data in cui lo stato è stato stabilito e il responsabile. Allora le domande che contano diventano normali query. Quali paesi mancano di un campo richiesto dall’insieme minimo? Quali campi hanno cambiato stato dall’ultima release? Quali paesi hanno uno stato sconosciuto da più di un ciclo di release?
Mantieni visibili gli sconosciuti invece di filtrarli via. Uno sconosciuto nascosto dietro un valore predefinito è il tipo più costoso, perché viene silenziosamente conteggiato come tutto ciò che quel valore predefinito implica. E quando indirizzi un lettore verso le note di paese sottostanti, la directory dei paesi e delle regioni è il luogo neutrale verso cui puntarlo, mentre una pagina come la voce della Germania mostra il livello di dettaglio che ci si aspetta da un singolo paese. Per le domande di codifica sottostanti, la guida ai codici ISO di paese e suddivisione copre il lato dei codici che questa checklist lascia deliberatamente da parte.
Tutto ciò che è mostrato qui è illustrativo. I nomi dei campi, gli stati e i valori di esempio di questa checklist sono materiale sintetico scritto per una discussione sul testing, non una misurazione di alcun sistema, organizzazione o set di dati reale, e non dovrebbero essere citati come un risultato.
Passi successivi
Costruisci la prima versione della checklist per un campo di cui ti fidi già e uno che sospetti, e mettili fianco a fianco. Il contrasto di solito mostra entro un’ora se il foglio sta misurando qualcosa. Quando la checklist è stabile, la guida a scalare i dati di test tra i paesi riprende da dove finisce la misurazione, e la guida a scegliere i paesi per i dati di test spiega come dovrebbe essere scelto in primo luogo l’elenco dei paesi che ne sta alla base.