Praktische gidsen

Bereid betrouwbare gegevensimport en -export voor

Een bestand dat wordt geopend, is niet noodzakelijkerwijs bruikbaar. Betrouwbare uitwisseling behoudt veldbetekenis, onderscheidt onbekende waarden van nul en matcht records zonder een weergavelabel als een fragiele identificatie te behandelen.

Zie de methode

Illustratie — Bereid betrouwbare gegevensimport en -export voor
AI-gegenereerde illustratie

Beschrijf het gegevenscontract

Schrijf een veldwoordenboek met betekenis, type, eenheid, vereiste status en ontbrekende waarden. Definieer stabiele identificatiegegevens en relaties. Een postcode, productnummer of administratieve code kan een tekstrepresentatie vereisen om de betekenis ervan te behouden.

Geef codering, scheidingsteken, datums, tijdzones en decimale conventies op. Python's CSV-documentatie legt de dialectconfiguratie uit; Een bestandsextensie alleen legt geen identieke conventies op aan elke producent.

Beschrijf het CSV-dialect vóór het tellen van regels. Volgens RFC 4180 staan velden met komma, aanhalingsteken of regelafbreking tussen dubbele aanhalingstekens; interne tekens worden verdubbeld. [CRLF] staat hier voor een echt paar carriage return en line feed. Het veld blijft onderdeel van één logisch record.

Test: een kop en twee records met CRLF in een geciteerd veld van het tweede nemen vier fysieke regels in, geen vier records. Gebruik een CSV-parser en vergelijk velden. Pythons standaardlezer geeft strings: 00120 behoudt nullen tot een latere conversie. Definieer lege waarden en spreadsheetgebruik apart; CSV-citatie neutraliseert geen formules.

Schuif de tabel horizontaal om alle kolommen te lezen. Zet met het toetsenbord de focus op de tabel en gebruik de pijltjestoetsen.

Komma-CSV: vier fragmenten; [CRLF] is echte regelafbreking
VoorbeeldfragmentAantal veldenGelezen velden als tekst
"Paris, France"1["Paris, France"]
"A ""B"""1["A \"B\""]
"A[CRLF]B"1["A[CRLF]B"]
00120,2["00120", ""]

Bouw een batch die de grenzen uitdaagt

Voeg een geaccentueerde naam, een optionele ontbrekende waarde, een identifier met een voorloopnul, een meerlijnbeschrijving en een ontbrekende relatie toe. Voeg een duplicaat en een opzettelijk ongeldig formaat toe. Houd deze dataset synthetisch en duidelijk gelabeld als testgegevens.

Bepaal of een probleem één rij afwijst, het bestand afwijst of een import met een probleemrapport produceert. Vermijd het melden van succes terwijl u stilletjes velden laat vallen. Rapportage geaccepteerde, afgewezen en door beoordeling vereiste rijen.

Plan uitwisselingsrechten en veiligheid

Definieer wie een batch kan exporteren, importeren en verwijderen. Plaats geen vertrouwelijke export standaard in een openbare map. Voor bestanden die in spreadsheets zijn geopend, bekijkt u velden die kunnen worden geïnterpreteerd als formules met behulp van een methode die geschikt is voor de ontvangende software.

Scheid geautoriseerde gegevens uit de interne context die niet mag reizen, zoals privéopmerkingen, onnodige contactgegevens of technische sleutels. Gebruik gereinigde of synthetische testkopieën. Documentopslag, retentie en wie tijdelijke export verwijdert.

Verzoen gegevens na verwerking

Vergelijk identifiers, relaties, totalen en bemonsterde waarden voor en na verwerking. Als ondersteuning voor retour nodig is, exporteer en importeer ze opnieuw in een testomgeving, vergelijk dan betekenis in plaats van alleen de bestandsgrootte.

Bewaar een back-up en record voor een destructieve import. Onderscheid maken van updates, toevoegingen en verwijdering. Een ontbrekende rij in een gedeeltelijke export betekent niet automatisch dat deze moet worden verwijderd. Spreek deze regels af voordat u de volledige database verwerkt.

Primaire documentatie: Python - CSV-bestand lezen en schrijven.

Fictieve partij: zes records hebben achtereenvolgens de tekstidentificaties 00120, 00121, 00120, 00122, 00123 en 00124. Voor de import bestaat 00121 met een te wijzigen waarde en 00122 met de juiste waarde. De gekozen regel accepteert de eerste vermelding van een sleutel, weigert herhalingen binnen de partij en weigert 00123 wegens een ontbrekende verplichte relatie. De eerste ronde geeft 2 nieuwe + 1 bijgewerkt + 1 ongewijzigd + 2 geweigerd = 6 onderzochte records.

Daarna bevat het doel vier identificaties: 00120, 00121, 00122 en 00124. Dezelfde partij opnieuw verwerken, met dezelfde regels en zonder tussentijdse wijzigingen, moet 0 nieuwe, 0 bijgewerkte, 4 ongewijzigde en 2 geweigerde records opleveren. Dat volgt uit de importafspraken, niet automatisch uit CSV. Behoud voorloopnullen en tel logische records van de parser; een veld tussen aanhalingstekens kan een regeleinde bevatten.

Schuif de tabel horizontaal om alle kolommen te lezen. Zet met het toetsenbord de focus op de tabel en gebruik de pijltjestoetsen.

Afstemming van een eerste fictieve import met zes records
ResultaatAantalBetrokken records
Nieuw aangemaakt200120 en 00124
Bijgewerkt100121: waarde verschilt van het doel
Ongewijzigd100122: waarde al identiek
Geweigerd2Vermelding 3: dubbele 00120; vermelding 5: ontbrekende relatie voor 00123

Exports met leesbare namen in gepubliceerde talen leveren.

Fictief geval: een exportnaam bevat accenten. Test filename, filename*, inhoudstype en het opgeslagen bestand. Schoon invoergebaseerde namen op vóór het bouwen van headers. Deze header beschermt geen toegang en vervangt geen autorisatiecontrole.

  • De naam is leesbaar, het type klopt en invoer kan geen extra header injecteren.

Export en terugimport vergelijken

Opslagschijf en USB-kabel tussen twee laptops
AI-gegenereerde illustratie · Vergelijk velden na export en terugimport.

Voorgestelde situatie: exporteren en importeren verandert beginnullen en datums, hoewel het aantal rijen gelijk blijft.

Gebruik fictieve gegevens met accenten, lege waarden en verschillende formaten. Vergelijk elk veld en noteer toegestane en onjuiste omzettingen.

  • Gevarieerde gevallen voorbereiden
  • Velden na import vergelijken
  • Omzettingen vastleggen

Referentiedocumenten

Inhoud bijgewerkt

Gedocumenteerde referenties voor dit onderwerp

Gedocumenteerde referenties voor dit onderwerp
ReferentieWaarde of syntaxisToepassingsgebied
RFC 4180 · CSV
text/csv · "a,b"Velden met komma’s, aanhalingstekens of regeleinden krijgen aanhalingstekens; interne tekens worden verdubbeld.
RFC 8259 · JSON
application/json · UTF-8Standaard-JSON staat geen commentaar of afsluitende komma toe; tekenreeksen gebruiken dubbele aanhalingstekens.
RFC 3339 · Date-time
2026-10-22T09:00:00+02:00Het expliciete tijdsverschil koppelt lokale tijd aan UTC; dit voorbeeld is geen afspraak.

De datums geven aan wanneer de bronnen zijn geraadpleegd. Deze gegevens vormen geen site-audit of algemene conformiteitsverklaring.

Functionele validatiematrix om zich aan het project aan te passen

Deze voorgestelde controles gebruiken fictieve gevallen. Bepaal welk gedrag er met het team wordt verwacht, noteer het resultaat en wijs onopgeloste discrepanties toe voor publicatie.

Schuif de tabel horizontaal om alle kolommen te lezen. Zet met het toetsenbord de focus op de tabel en gebruik de pijltjestoetsen.

Testgevallen, verwachte resultaten en nuttig bewijs
GevalVerwacht resultaatBewijs om te houden
Accenten, scheidingstekens en meerregelige tekstWaarden behouden hun betekenis na export en opnieuw importeren.Veld-voor-veldvergelijking met behulp van een klein representatief referentiebestand met bekende waarden.
nul, leeg, nul en afwezigDe vier staten volgen verschillende regels waar vereist door het contract.Data Dictionary en waarden die daadwerkelijk door de bestemming zijn ontvangen.
Herhaalde identificatieDe gekozen regel onderscheidt duplicatie, updates en legitieme varianten.Geaccepteerd en geweigerd rijlogboek, met een reden voor elke beslissing.
Mislukt halverwegeHet team weet welke wijzigingen zijn aangebracht en hoe ze moeten hervatten.eindtoestand, getroffen rijen en een herstelprocedure die wordt uitgeoefend met synthetische gegevens.

Veel gestelde vragen

Waarom sommige codes als tekst bewaren?

Ze identificeren een entiteit in plaats van een hoeveelheid. Automatische conversie kan voorloopnullen verliezen of presentatie wijzigen. Definieer het type in het contract en test een grensvoorbeeld.

Bewijst een ongewijzigde aantal rijen een correcte import?

Nee. Tellingen kunnen overeenkomen ondanks verloren velden, verbroken relaties of onjuiste vervangingen. Vergelijk id's, waarden, eenheden en fouten met behulp van een representatieve batch.