Erstellen Sie Ihren ersten Datenrahmen in PySpark

Erstellen Sie Ihren ersten Datenrahmen in PYSpark

Erstellen eines Datenrahmens in PYSPARK, der Kerndatenstruktur für Spark, ist der grundlegende Schritt für jede Datenverarbeitungsaufgabe. Abhängig von Ihrer Datenquelle gibt es verschiedene Möglichkeiten, dies zu erreichen. Der einfachste und häufigste Ansatz ist die Verwendung der spark.read.csv() -Methode, die wir später im Detail untersuchen werden. Bevor wir jedoch in Einzelheiten eintauchen, richten wir unsere Funkenumgebung ein. Sie müssen pyspark installieren lassen. Wenn nicht, können Sie es mit pip install pyspark installieren. Anschließend müssen Sie eine SparkSession initialisieren, die der Einstiegspunkt für die Spark -Funktionalität ist. Dies erfolgt normalerweise wie folgt:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("DataFrameCreation").getOrCreate()

Dies erstellt ein SparkSession -Objekt mit dem Namen spark. Wir werden dieses Objekt während unserer Beispiele verwenden. Denken Sie daran, die Sitzung zu stoppen, wenn sie spark.stop() beendet ist. Jetzt sind wir bereit, unseren ersten Datenrahmen zu erstellen. Die

-Funktion bietet Flexibilität bei der Behandlung verschiedener CSV -Eigenschaften. Nehmen wir an, Sie haben eine CSV -Datei mit dem Namen

in Ihrem Arbeitsverzeichnis mit der folgenden Struktur:

spark.read.csv() Hier ist, wie Sie einen Datenrahmen aus dieser CSV -Datei erstellen können: data.csv

Name,Age,City
Alice,25,New York
Bob,30,London
Charlie,28,Paris

zeigt an, dass die ersten Zeile die Zeile enthält, und

(🎜> (🎜> Wenn diese Optionen nicht angegeben sind, geht Spark davon aus, dass die erste Zeile Daten ist und allen Spalten einen Standard -Datentyp (normalerweise Zeichenfolge) zuweist. Sie können das Schema explizit mithilfe eines

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("DataFrameCreation").getOrCreate()

df = spark.read.csv("data.csv", header=True, inferSchema=True)

df.show()
spark.stop()

-Objekts für mehr Kontrolle definieren, was für komplexe oder große Datensätze besonders vorteilhaft ist.

• Aus einer Liste von Listen oder Tupeln: Sie können direkt einen Datenrahmen aus Python -Listen oder Tupeln erstellen. Jede innere Liste/Tupel repräsentiert eine Zeile, und die erste innere Liste/Tuple definiert die Spaltennamen. DataFrame.

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("DataFrameCreation").getOrCreate()

• Aus einer JSON -Datei: Ähnlich wie bei CSV können Sie Daten aus einer JSON -Datei mit
lesen. Dies ist besonders nützlich für semi-strukturierte Daten. Das Lesen aus einer Parkettdatei ist oft erheblich schneller als CSV. Verwenden Sie

dafür. Das Objekt

Name,Age,City
Alice,25,New York
Bob,30,London
Charlie,28,Paris

bietet Methoden zum Zugriff auf diese Quellen. Das Schema explizit zu definieren ist oft sicherer, insbesondere für große Datensätze mit verschiedenen Datentypen. Erwägen Sie, Ihre Daten zu partitionieren oder andere Techniken wie

zu verwenden, um die Anzahl der gelesenen Datensätze pro Datei zu begrenzen. Die Datenreinigung und -vorverarbeitung sind entscheidend, bevor ein Datenframe erstellt wird, um dies zu beheben. Überwachen Sie die Speicherverwendung genau, insbesondere bei der Erstellung von Datenframe, um außerfeilige Fehler zu verhindern. Die Auswahl der geeigneten Methode zur Erstellung von Datenframe basierend auf Ihrer Datenquelle und -größe ist der Schlüssel zur Optimierung der Leistung.

Das obige ist der detaillierte Inhalt vonErstellen Sie Ihren ersten Datenrahmen in PySpark. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!