Spark Scala TopN分组排序
注意:groupBy和groupByKey是不同的,比如(A,1),(A,2);使用groupBy之后结果是(A,((A,1),(A,2)));使用groupByKey之后结果是:(A,(1,2));关键区别就是合并之后是否会自动去掉key信息;示例:输入:Spark 95Hadoop 68Flink 55Spark 95Hadoop 98Flink 85Kafka
·
注意:
groupBy和groupByKey是不同的,比如(A,1),(A,2);使用groupBy之后结果是(A,((A,1),(A,2)));
使用groupByKey之后结果是:(A,(1,2));关键区别就是合并之后是否会自动去掉key信息;
示例:
输入:
Spark 95
Hadoop 68
Flink 55
Spark 95
Hadoop 98
Flink 85
Kafka 67
Spark 85
Hadoop 98
Flink 82
Kafka 76
Spark 98
Kafka 70
Spark 87
Hadoop 91
代码:
object TopNSecond {
def main(args: Array[String]): Unit = {
val conf=new SparkConf().setAppName("TopNSecond by Scala").setMaster("local");
val sc=new SparkContext(conf);
val data=sc.textFile("D:/tmp/TopNSecond.txt",1);
val lines=data.map{ line => (line.split(" ")(0),line.split(" ")(1).toInt) };
val groups=lines.groupByKey();
val groupsSort=groups.map(tu=>{
val key=tu._1;
val values=tu._2;
val sortValues=values.toList.sortWith(_>_).take(4);
(key,sortValues);
});
groupsSort.sortBy(tu=>tu._1, false, 1).collect().foreach(value=>{
print(value._1);
value._2.foreach(v=>print("\t"+v));
println();
});
sc.stop();
}
}
默认是降序排列:
核心思想是相对分组内部排序,然后取前N个,然后对分组之间进行排序;
输出结果:
Spark 98 95 95 87
Kafka 76 70 67
Hadoop 98 98 91 68
Flink 85 82 55
更多推荐
已为社区贡献2条内容
所有评论(0)