Excel eignet sich hervorragend für so viele alltägliche Aufgaben. Aber ab und zu begegnet man einem seiner Nachteile: der Größe einer Tabelle. Wenn Sie wissen möchten, wie Sie eine Excel-Tabelle verkleinern oder eine große CSV-Datei aufteilen können, haben wir für Sie eine Lösung gefunden.
Das Tabellenzeilenlimit zu treffen ist eine ziemlich ernste Aufgabe an und für sich. Das aktuelle Excel-Tabellenzeilenlimit beträgt 1.048.576. Das stimmt - über 1 Million Zeilen und ebenso viele Spalten.
Aber dieses Zeilenlimit zu treffen ist eigentlich unglaublich einfach, während bestimmter Aufgaben. Wenn Sie per E-Mail-Marketing sind, können Sie eine CSV-Datei importieren Wie Sie Daten in Ihre Excel-Tabellenkalkulation einfach und bequem importieren So importieren Sie Daten in Ihre Excel-Tabellenkalkulation Haben Sie schon einmal mit dem Importieren oder Exportieren von Daten gekämpft? eine Kalkulationstabelle? Dieses Tutorial hilft Ihnen dabei, Daten zwischen Microsoft Excel, CSV, HTML und anderen Dateiformaten zu übertragen. Lesen Sie mehr mit Millionen von E-Mail-Adressen. Das einzige Problem ist, wie man tatsächlich eine Tabelle mit so vielen Adressen verwaltet? Was ist, wenn Ihnen jemand eine CSV-Datei sendet, die bereits überschritten ist (aus einem anderen Programm)?
Nun, ich werde Ihnen zeigen, wie Sie diese enorme CSV in leicht handhabbare Brocken zerlegen können.
(Sie haben keine große CSV-Datei? Es gibt einige ziemlich große CSV-Dateien 15 Massive Online-Datenbanken, die Sie kennen sollten 15 Massive Online-Datenbanken, die Sie über das Internet kennen sollten, dokumentieren alles. Einige dieser Daten werden in riesigen Wissensbasen konzentriert Diese Online-Enzyklopädien oder Datenbanken - die Frage ist, wissen Sie über die besten? Lesen Sie mehr bei data.gov. Ich werde die 260.000 Reihe Krankenhaus vergleichen Liste verwenden, so dass Sie die gleiche Datei verwenden können.)
1. Verwenden Sie ein Programm
Es gibt eine Reihe von nützlichen CSV-Splitter-Programmen. Ich werde dir zwei der Besten zeigen.
CSV-Chunker
CSV Chunker ist ein Open Source CSV-Splitter. Es kann große Dateien verarbeiten und sie schnell in Stücke Ihrer Wahl aufteilen. Es dauerte ungefähr 3 Sekunden, um unsere Krankenhaus-Vergleichs-CSV in 106 Chunks aufzuteilen, die jeweils 2.500 Zeilen enthielten.
CSV-Splitter
CSV Splitter ist unser zweites Werkzeug. Es bietet die gleiche Funktionalität wie CSV Chunker, allerdings mit einem etwas schlankeren Design. Der CSV Splitter benötigte ca. 4 Sekunden, um unsere CSV-Datei für Krankenhausvergleiche in 106 zu teilen, die wiederum jeweils 2.500 Zeilen enthielten.
2. Verwenden Sie eine Batch-Datei
Als nächstes eine programmierbare Batch-Datei Wie schreibt man eine einfache Batch-Datei (BAT) Wie schreibt man eine einfache Batch-Datei (BAT) Batch-Dateien können alltägliche Computeraufgaben automatisieren. Wir zeigen Ihnen, wie Batch-Dateien funktionieren und vermitteln Ihnen die Grundlagen. Am Ende dieses Artikels haben Sie Ihre erste Batch-Datei geschrieben. Weiterlesen . Wir können eine Stapeldatei verwenden, um die CSV in kleinere Abschnitte zu verarbeiten und die Datei so anzupassen, dass sie verschiedene Chunks liefert.
Öffnen Sie ein neues Textdokument. Kopieren Sie Folgendes und fügen Sie Folgendes ein:
@echo off setlocal ENABLEDELAYEDEXPANSION REM Ändern Sie diesen Wert, um den Namen der Datei zu ändern, die geteilt werden soll. Fügen Sie die Erweiterung hinzu. SET BFN = HCAHPSHospital.csv REM Ändern Sie diesen Wert, um die Anzahl der Zeilen pro Datei zu ändern. SET LPF = 2500 REM Bearbeiten Sie diesen Wert, um den Namen jeder kurzen Datei zu ändern. Es wird eine Nummer folgen, die angibt, wo es in der Liste ist. SET SFN = HosptialSplitFile REM Über diese Zeile hinaus nicht ändern. SET SFX =% BFN: ~ -3% SET / A Zeilenzahl = 0 SET / A DateiNr = 1 Für / F "delims ==" %% l in (% BFN%) Do (EINSTELLEN / A Zeilennummer + = 1 echo %% l >>% SFN%! DateiNr!.% SFX% if! ZeilenNr! EQU! LPF! (SET / A Zeilennummer = 0 SET / A DateiNr + = 1)) endlokal Pause
Sie müssen die Batch-Datei vor der Ausführung konfigurieren. Ich werde Ihnen sagen, was jeder Befehl macht, und Sie können ihn ändern, um ihn an die Größe Ihrer Batch-Datei sowie an die erforderliche Ausgabe anzupassen.
- "SET BFN =" sollte auf die CSV- Datei verweisen, die Sie aufteilen müssen
- " SET LPF =" ist die Anzahl der Zeilen, auf die Sie Ihre neue Datei beschränken möchten
- "SET SFN =" ist das neue Benennungsschema für Ihre geteilten Dateien
Wenn Sie Ihre Variablen eingegeben haben, gehen Sie zu Datei> Speichern unter. Wählen Sie den Dateinamen und wählen Sie Speichern. Wählen Sie dann Ihre neu gespeicherte Textdatei und drücken Sie F2, um sie umzubenennen. Ersetzen Sie die TXT-Erweiterung durch BAT und drücken Sie OK, wenn die Warnung angezeigt wird. Jetzt können Sie Ihre große CSV teilen!
Ich warne Sie jedoch, diese Methode braucht etwas Zeit. Sie sind wahrscheinlich besser dran mit einem der oben genannten Splitter.
Das ursprüngliche Skript und der Thread können hier gefunden werden.
3. Verwenden Sie ein PowerShell-Skript
Batch-Dateien sind praktisch. Sie können sie für eine Vielzahl von alltäglichen Aufgaben verwenden. Aber PowerShell-Skripte sind im Großen und Ganzen schneller, besonders für diese Art der Verarbeitung und Division.
Mit dem folgenden Skript wird Ihre große CSV-Datei schnell in kleinere Dateien geschnitten. Auch hier habe ich die CSV-Datei für den Krankenhausvergleich für mein Beispiel verwendet. Es dauerte ungefähr 3 Sekunden, bis der Befehl ausgeführt wurde. Öffnen Sie die Windows PowerShell ISE. Wenn Sie sich nicht sicher sind, wie Sie dies tun sollen, geben Sie powershell ise in Ihre Suche im Startmenü ein und wählen Sie die entsprechende Option. Wenn die PowerShell ISE geöffnet ist, wählen Sie den Pfeil " Skript anzeigen" in der oberen rechten Ecke aus (im folgenden Bild rot umrandet).
Kopieren Sie den folgenden Befehl und fügen Sie ihn in das Skriptfenster am oberen Bildschirmrand ein.
$ i = 0; Get-Content C: \ Benutzer \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % {$ i ++; $ _ | Out-File C: \ Benutzer \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ split \ splitfile_ $ i.csv} Zuerst müssen Sie den Speicherort Ihrer Eingabedatei ändern. Zweitens müssen Sie angeben, wie viele Zeilen Ihre Ausgabedateien enthalten sollen. Zuletzt geben Sie den Speicherort Ihrer Ausgabedatei an. Ich habe meine Dateipfade zur Veranschaulichung der Situation dort gelassen. Außerdem muss Ihr Ausgabedateiname das Suffix "_ $ i.csv" haben, das zu meinem passt. Andernfalls werden Ihre Ausgabedateien nicht richtig nummeriert.
Wenn Sie die Datei mit Ihren eigenen Daten bearbeitet haben, drücken Sie STRG + S, um das Skript zu speichern.
Das Original-Skript finden Sie hier.
4. Laden Sie es in ein Datenmodell
Unsere endgültige Lösung besteht nicht darin, die große CSV in kleinere Teile aufzuteilen. Sie sehen, Jose Barreto, ein Mitglied des OneDrive-Teams, hat kürzlich genau erläutert, wie Sie eine große CSV-Datei in Excel laden können. In diesem Fall bedeutet groß, dass das Zeilenlimit 1.048.567 überschreitet. Er erklärt in einem Lernprogramm, dass Excel 2016 eine Datenverbindung zur CSV-Datei erstellen kann, anstatt die Datei tatsächlich zu laden.
Die Daten aus der ursprünglichen CSV-Datei stehen dem Benutzer innerhalb eines Datenmodells zur Verfügung. Barreto erstellte eine Pivot-Tabelle mit "bis zu 8, 5 Millionen Zeilen ohne Probleme". Das obige Bild stammt aus Barretos Blogpost (siehe unten) und zeigt insgesamt 2 Millionen Zeilen in Excel. (Informationen zum Verwenden einer Pivot-Tabelle für die Datenanalyse Verwenden einer Excel-Pivot-Tabelle für die Datenanalyse Verwenden einer Excel-Pivot-Tabelle für die Datenanalyse Die Pivot-Tabelle ist eines der leistungsstärksten Werkzeuge im Excel 2013-Repertoire häufig verwendet für große Datenanalyse. Folgen Sie unserer Schritt-für-Schritt-Demonstration, um alles darüber zu erfahren. Lesen Sie mehr.)
Wenn dies die Lösung ist, die zu Ihnen passt, folgen Sie dem detaillierten Tutorial von Jose Barreto hier. Denken Sie daran, dies teilt nicht die CSV, aber es bedeutet, dass Sie Ihre Daten mit bestimmten Excel-Tools manipulieren können. Wie Sie Ihre Datenanalyse mit den Power Tools von Excel visualisieren Wie Sie Ihre Datenanalyse mit den Excel-Tools von Excel visualisieren Excel macht es mit seinen erweiterten Tools kaputt Datenverwaltungsfunktionen. Sobald Sie eines der neuen Tools verwendet haben, werden Sie sie alle wollen. Werden Sie ein Meister Ihrer Datenanalyse mit Elektrowerkzeugen! Weiterlesen . Wenn Sie auf Ihre Daten zugreifen, um direkt mit ihr zu interagieren, könnte dies einen Versuch wert sein.
Brechen Sie es ab!
Wir haben vier Lösungen zum Zerlegen Ihrer massiven CSV-Dateien aufgeführt, darunter zwei verschiedene Tools.
Von den vier Lösungen ist die Batch-Datei wahrscheinlich die langsamste 5 Gründe, warum Sie PowerShell anstelle von Batch Scripting verwenden sollten 5 Gründe, warum Sie PowerShell anstelle von Batch Scripting verwenden sollten PowerShell ist, was Sie erhalten würden, wenn Sie die Eingabeaufforderung mit Batch Scripting, warf in einigen zusätzlichen Funktionen, und kickte es alle mehrere Kerben. Hier sind einige Gründe, warum Sie es versuchen sollten. Weiterlesen . Das PowerShell-Skript ist schnell und einfach anpassbar, während die beiden Anwendungen einfach zu verwenden sind. Schließlich haben Sie die Möglichkeit, Ihre Daten in Millionen von Zeilen direkt in Excel zu importieren.
Welche Methode wählen Sie? Und hast du noch andere Tipps? Bitte teilen Sie uns in den Kommentaren!
Bildquelle: lucadp / Depositphotos