So teilen Sie eine riesige CSV-Excel-Tabelle in separate Dateien auf

Microsoft Excel eignet sich hervorragend für so viele alltägliche Aufgaben. Aber hin und wieder stoßen Sie auf einen seiner Mängel: die Größe einer Tabelle. Lesen Sie weiter, um herauszufinden, wie Sie eine Excel-Tabelle verkleinern oder eine große CSV-Datei in mehrere Dateien aufteilen können.

Warum eine große CSV in mehrere Dateien aufteilen?

Sie denken vielleicht: "Warum sollte ich eine große Excel-Datei in mehrere kleinere Dateien aufteilen müssen?" Dies ist eine interessante Frage, zumal Excel ein Zeilenlimit für Tabellenkalkulationen von 1.048.576 hat.

Über 1 Million Zeilen klingen phänomenal. Das Erreichen des Zeilenlimits ist jedoch einfacher als Sie denken, insbesondere bei bestimmten Aufgaben.

Wenn Sie beispielsweise per E-Mail vermarkten, können Sie eine CSV-Datei mit Millionen von E-Mail-Adressen importieren. Das einzige Problem ist, wie man eine Tabelle mit so vielen Adressen verwaltet. Was ist außerdem, wenn Ihnen jemand eine CSV sendet, die bereits über dem Limit liegt (von einem anderen Programm)?

Wenn dies nach einem Problem klingt, mit dem Sie wahrscheinlich konfrontiert werden, sehen Sie sich die folgenden fünf Möglichkeiten an, um eine große CSV- oder Excel-Datei in mehrere kleinere Dateien aufzuteilen.

Sie haben keine große CSV-Datei zur Hand, möchten aber zu Hause mitspielen? In den Beispielen verwende ich den COVID-19 Open Research Dataset , den Sie auch herunterladen und verwenden können.

1. Brechen Sie CSV-Dateien mit einem Programm auf

Es gibt mehrere nützliche CSV-Splitter-Programme. Hier sind zwei der besten. Faire Warnung, da diese Programme funktionieren, treten manchmal Speicherprobleme auf, was ein häufiges Problem bei CSV-Aufteilungsprogrammen ist.

Kostenloser riesiger CSV-Splitter

Der Free Huge CSV Splitter ist ein grundlegendes CSV-Splitting-Tool. Sie geben die CSV-Datei ein, die Sie teilen möchten, die Zeilenanzahl, die Sie verwenden möchten, und wählen dann Datei teilen. Die Zeilenanzahl bestimmt die Anzahl der Ausgabedateien, mit denen Sie enden.

CSV-Splitter

CSV Splitter ist das zweite Werkzeug. Es bietet fast die gleiche Funktionalität wie Free Huge CSV Splitter, allerdings mit einem etwas schlankeren Design. Es teilt Ihre CSV schnell in kleine Teile auf, sodass Sie die Anzahl der Zeilen bestimmen können, die Sie verwenden möchten.

2. Verwenden Sie eine Batch-Datei

Erstellen Sie als Nächstes eine programmierbare Batchdatei . Sie können eine Batchdatei verwenden, um die CSV in kleinere Blöcke zu verarbeiten, und die Datei so anpassen, dass verschiedene Blöcke bereitgestellt werden.

Öffnen Sie ein neues Textdokument, kopieren Sie Folgendes und fügen Sie es ein:

 @echo off
 setlocal ENABLEDELAYEDEXPANSION
 REM Edit this value to change the name of the file that needs splitting. Include the extension.
 SET BFN=HCAHPSHospital.csv
 REM Edit this value to change the number of lines per file.
 SET LPF=2500
 REM Edit this value to change the name of each short file. It will be followed by a number indicating where it is in the list.
 SET SFN=HosptialSplitFile
 REM Do not change beyond this line.
 SET SFX=%BFN:~-3%
 SET /A LineNum=0
 SET /A FileNum=1
 For /F "delims==" %%l in (%BFN%) Do (
 SET /A LineNum+=1
 echo %%l >> %SFN%!FileNum!.%SFX%
 if !LineNum! EQU !LPF! (
 SET /A LineNum=0
 SET /A FileNum+=1
 )
 )
 endlocal
 Pause

Sie müssen die Batchdatei konfigurieren, bevor Sie sie ausführen können. Ich werde Ihnen sagen, was jeder Befehl tut, und Sie können ihn an die Größe Ihrer Batchdatei sowie an die erforderliche Ausgabe anpassen.

• "SET BFN =" sollte auf die CSV verweisen, die Sie auflösen müssen
• " SET LPF =" ist die Anzahl der Zeilen, auf die Sie Ihre neue Datei beschränken möchten
• "SET SFN =" ist das neue Namensschema für Ihre geteilten Dateien

Sobald Sie Ihre Variablen eingegeben haben, gehen Sie zu Datei> Speichern unter . Wählen Sie einen Dateinamen und dann Speichern . Wählen Sie dann Ihre neu gespeicherte Textdatei aus und drücken Sie F2 , um sie umzubenennen. Ersetzen Sie die Erweiterung .txt durch .bat und drücken Sie OK, wenn die Warnung angezeigt wird. Jetzt können Sie Ihre große CSV-Datei in kleinere Ausgabedateien aufteilen.

3. Verwenden Sie ein PowerShell-Skript, um eine CSV-Datei aufzubrechen

Sie können Batch-Dateien für eine Vielzahl von täglichen Aufgaben verwenden . PowerShell-Skripte sind jedoch schneller, insbesondere für diese Art der Verarbeitung und Aufteilung.

Das folgende Skript schneidet Ihre große CSV schnell in kleinere Dateien.

Drücken Sie zuerst STRG + X , um das Windows-Energiemenü zu öffnen, und wählen Sie dann PowerShell aus . Wenn PowerShell keine Option ist, geben Sie Powershell in die Suchleiste Ihres Startmenüs ein und wählen Sie die beste Übereinstimmung aus .

Kopieren Sie nun das folgende Skript und fügen Sie es ein:

 $InputFilename = Get-Content 'C:filelocation'
 $OutputFilenamePattern = 'output_done_'
 $LineLimit = 50000
 $line = 0
 $i = 0
 $file = 0
 $start = 0
 while ($line -le $InputFilename.Length) {
 if ($i -eq $LineLimit -Or $line -eq $InputFilename.Length) {
 $file++
 $Filename = "$OutputFilenamePattern$file.csv"
 $InputFilename[$start..($line-1)] | Out-File $Filename -Force
 $start = $line;
 $i = 0
 Write-Host "$Filename"
 }
 $i++;
 $line++
 }

Ersetzen Sie den Speicherort der Datei in der ersten Zeile durch Ihre CSV-Datei und führen Sie das Skript aus. Das Skript gibt die kleineren CSV-Dateien in Ihrem Benutzerverzeichnis aus. Meine CSV-Dateien befinden sich beispielsweise unter C: Users Gavin mit dem Dateinamen output_done_1.csv . Sie können den Ausgabenamen ändern , indem Sie die Zeile $ OutputFilenamePattern = 'output_done_' ändern .

Das Original-Skript finden Sie bei SPJeff .

4. Brechen Sie ein großes CSV mit Power Pivot auf

Ihre vorletzte Lösung zum Aufteilen einer großen CSV-Datei in kleine Teile zerlegt sie nicht wirklich. Vielmehr können Sie Ihre umfangreiche CSV-Datei in Excel laden und mit dem Power Pivot-Tool öffnen. Das ist richtig; Sie können das Excel-Zeilenlimit effektiv ignorieren und die Datei innerhalb des Programms verwalten.

Sie erreichen dies, indem Sie eine Datenverbindung zur CSV-Datei erstellen und dann den Inhalt mit Power Pivot verwalten. Eine vollständige Erklärung und ein Tutorial finden Sie in Jose Barretos Blog, in dem der Prozess detailliert beschrieben wird.

Kurz gesagt, Barreto erstellt eine Pivot-Tabelle mit "bis zu 8,5 Millionen Zeilen ohne Probleme". Das obige Bild stammt aus dem Blog-Beitrag und zeigt insgesamt 2 Millionen in Excel verwendete Zeilen.

Denken Sie daran, dass dieser Prozess die CSV nicht in kleine Teile aufteilt. Dies bedeutet jedoch, dass Sie die CSV in Excel bearbeiten können. Dies ist eine sehr praktische Alternative. Wenn Sie weitere Tipps benötigen, erfahren Sie, wie Sie eine Pivot-Tabelle für die Datenanalyse verwenden .

5. Brechen Sie große CSV online mit Split CSV auf

Es gibt auch Online-Dienste, die Ihre große CSV-Datei in kleinere Teile zerlegen. Eine solche Option ist Split CSV , ein kostenloser Online-CSV-Splitter.

Split CSV verwaltete das COVID-19-Dataset einwandfrei und teilte es in handliche Teile auf. Wie bei anderen Tools definieren Sie die Zeilenanzahl für jede Datei und lassen sie aufteilen. Ich hatte jedoch keine große CSV-Datei zum Testen zur Hand, und daher kann Ihre Erfahrung variieren.

Split CSV enthält auch Premium-Optionen. Gegen eine Abonnementgebühr können Sie ein benutzerdefiniertes Trennzeichen verwenden , eine Auswahl von Ausgabedateitypen auswählen, bestimmte Zeichen aus den Ausgabedateien entfernen und doppelte Zeilen löschen.

Teilen Sie Ihre CSV-Dateien in einfach zu verwaltende Blöcke auf

Sie haben jetzt fünf Lösungen, mit denen Sie Ihre CSV-Dateien in kleine Teile zerlegen und so einfach verwalten können. Die Lösungen unterscheiden sich in der Geschwindigkeit und der Größe der CSV-Dateien, die sie verwalten können. Daher müssen Sie möglicherweise experimentieren, um die für Sie am besten geeignete Lösung zu finden.

Bildnachweis: lucadp / Depositphotos