Preparare importazioni ed esportazioni di dati affidabili

Descrivi il contratto di dati

Scrivere un dizionario di campi che copre significato, tipo, unità, stato richiesto e valori mancanti. Definire identificatori e relazioni stabili. Un codice postale, un numero di prodotto o un codice amministrativo possono richiedere una rappresentazione testuale per preservarne il significato.

Specifica la codifica, delimitatore, le date, i fusi orari e le convenzioni decimali. La documentazione del CSV di Python spiega la configurazione del dialetto; Un'estensione di file da sola non impone convenzioni identiche a ogni produttore.

Costruisci un lotto che sfidi i confini

Includi un nome accentato, un valore mancante opzionale, un identificatore con uno zero iniziale, una descrizione multilinea e una relazione mancante. Aggiungi un formato duplicato e intenzionalmente non valido. Mantieni questo set di dati sintetico e chiaramente etichettato come dati di test.

Decidere se un problema rifiuta una riga, rifiuta il file o produce un'importazione con un rapporto di problema. Evita di segnalare il successo mentre si lascia cadere silenziosamente i campi. Segnala righe accettate, rifiutate e richieste dalla revisione.

Pianificare le autorizzazioni e la sicurezza

Definire chi può esportare, importare e rimuovere un batch. Non inserire le esportazioni riservate in una cartella pubblica per impostazione predefinita. Per i file aperti in fogli di calcolo, rivedere i campi che potrebbero essere interpretati come formule utilizzando un metodo appropriato al software ricevente.

Separare i dati autorizzati dal contesto interno che non dovrebbero viaggiare, come commenti privati, dettagli di contatto non necessari o chiavi tecniche. Utilizzare copie di prova pulite o sintetiche. Archiviazione documenti, conservazione e chi rimuove le esportazioni temporanee.

riconciliare i dati dopo l'elaborazione

Confronta identificatori, relazioni, totali e valori campionati prima e dopo l'elaborazione. Se è richiesto il supporto di andata e ritorno, esportare e reimportare in un ambiente di test, confrontare il significato anziché la sola dimensione del file.

Conserva un backup e registra prima di un'importazione distruttiva. distinguere aggiornamenti, aggiunte ed eliminazioni. Una riga mancante in un'esportazione parziale non significa automaticamente che debba essere eliminata. Concordare queste regole prima di elaborare il database completo.

Documentazione primaria: Python - lettura e scrittura di file CSV.