Spark DataFrame에서 가장 높은 값을 가진 각 그룹의 첫 번째 행을 효율적으로 선택하는 방법은 무엇입니까?

그룹별 홈페이지 선택 방법

DataFrame의 각 그룹에서 가장 높은 값을 갖는 첫 번째 페이지를 추출하는 것이 목표입니다. 이는 데이터 추세를 분석하거나 특정 카테고리의 상위 플레이어를 식별할 때 종종 발생합니다. 이를 달성하기 위해 여러 가지 방법을 사용할 수 있습니다:

창 기능:

창 기능은 그룹 내에서 계산을 수행하는 방법을 제공합니다. 이 경우 row_number() 함수를 사용하여 지정된 순서에 따라 각 행에 일련 번호를 할당할 수 있습니다. 홈페이지는 순위를 1로 필터링하여 식별할 수 있습니다.

import org.apache.spark.sql.functions.{row_number, max, broadcast}
import org.apache.spark.sql.expressions.Window

val df = sc.parallelize(Seq(
  (0,"cat26",30.9), (0,"cat13",22.1), (0,"cat95",19.6), (0,"cat105",1.3),
  (1,"cat67",28.5), (1,"cat4",26.8), (1,"cat13",12.6), (1,"cat23",5.3),
  (2,"cat56",39.6), (2,"cat40",29.7), (2,"cat187",27.9), (2,"cat68",9.8),
  (3,"cat8",35.6))).toDF("Hour", "Category", "TotalValue")

val w = Window.partitionBy($"hour").orderBy($"TotalValue".desc)

val dfTop = df.withColumn("rn", row_number.over(w)).where($"rn" === 1).drop("rn")

dfTop.show
// +----+--------+----------+
// |Hour|Category|TotalValue|
// +----+--------+----------+
// |   0|   cat26|      30.9|
// |   1|   cat67|      28.5|
// |   2|   cat56|      39.6|
// |   3|    cat8|      35.6|
// +----+--------+----------+

간단한 SQL 집계 후 조인:

또는 SQL을 사용하여 집계를 수행한 다음 결과를 원본 DataFrame과 연결하여 각 그룹의 첫 번째 페이지를 추출할 수 있습니다.

val dfMax = df.groupBy($"hour".as("max_hour")).agg(max($"TotalValue").as("max_value"))

val dfTopByJoin = df.join(broadcast(dfMax),
    ($"hour" === $"max_hour") && ($"TotalValue" === $"max_value"))
  .drop("max_hour")
  .drop("max_value")

dfTopByJoin.show

// +----+--------+----------+
// |Hour|Category|TotalValue|
// +----+--------+----------+
// |   0|   cat26|      30.9|
// |   1|   cat67|      28.5|
// |   2|   cat56|      39.6|
// |   3|    cat8|      35.6|
// +----+--------+----------+

구조 정렬 사용:

창 기능이나 조인을 사용하지 않고 동일한 결과를 얻는 깔끔한 방법은 값과 범주가 포함된 구조를 기반으로 데이터를 정렬하는 것입니다. 그러면 이 구조의 최대값은 각 그룹에 대해 원하는 첫 번째 페이지를 반환합니다.

val dfTop = df.select($"Hour", struct($"TotalValue", $"Category").alias("vs"))
  .groupBy($"hour")
  .agg(max("vs").alias("vs"))
  .select($"Hour", $"vs.Category", $"vs.TotalValue")

dfTop.show
// +----+--------+----------+
// |Hour|Category|TotalValue|
// +----+--------+----------+
// |   0|   cat26|      30.9|
// |   1|   cat67|      28.5|
// |   2|   cat56|      39.6|
// |   3|    cat8|      35.6|
// +----+--------+----------+

위 내용은 Spark DataFrame에서 가장 높은 값을 가진 각 그룹의 첫 번째 행을 효율적으로 선택하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!