Pyspark 문자열 열을 날짜 열로 효율적으로 변환하는 방법은 무엇입니까?

Pyspark 문자열 열을 날짜 형식으로 변환

Pyspark로 작업할 때 날짜를 나타내는 문자열 열을 DateType 열로 변환해야 할 수 있습니다. 이는 데이터가 문자열로 수집될 때 흔히 발생합니다.

이를 설명하려면 MM-dd-yyyy 형식의 STRING_COLUMN이라는 문자열 열이 있는 다음 DataFrame을 고려하세요.

df = spark.createDataFrame([
    ("01-01-2023",),
    ("01-02-2023",),
    ("01-03-2023",),
], ["STRING_COLUMN"])
df.show()

STRING_COLUMN을 DateType 열로 변환하려면 원본에서 제안한 대로 to_date() 함수를 사용하는 방법이 있습니다. 시도:

df.select(to_date(df.STRING_COLUMN).alias("new_date")).show()

그러나 이 접근 방식을 사용하면 열이 Null로 채워질 수 있습니다. 이 문제를 해결하려면 다음 방법 중 하나를 사용하는 것이 좋습니다.

1. to_timestamp 함수(Spark 2.2 ):

Spark 2.2부터 to_timestamp() 함수는 문자열을 타임스탬프로 변환하는 보다 효율적이고 간단한 방법을 제공합니다. 형식 인수를 사용하여 입력 형식 지정을 지원합니다:

df.select(to_timestamp(df.STRING_COLUMN, "MM-dd-yyyy").alias("new_date")).show()

2. unix_timestamp 및 from_unixtime 함수(Spark < 2.2):

2.2 이전 Spark 버전의 경우 unix_timestamp와 from_unixtime 함수의 조합을 사용할 수 있습니다.

from pyspark.sql.functions import unix_timestamp, from_unixtime

df.select(
    from_unixtime(unix_timestamp(df.STRING_COLUMN, "MM-dd-yyyy")).alias("new_date")
).show()

두 경우 모두 , show() 메소드를 사용하여 변환된 DateType을 표시할 수 있습니다. 칼럼.

위 내용은 Pyspark 문자열 열을 날짜 열로 효율적으로 변환하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!