วันพฤหัสบดีที่ 20 ตุลาคม พ.ศ. 2559

Apache Spark Map vs FlatMap

     สำหรับ Apache Spark นั้นมี Action ที่ใช้บ่อยๆอยู่หลายตัว เช่น Map และ FlatMap ในบทความนี้จะอธิบายความแตกต่างของทั้งสองตัว

ผลการค้นหารูปภาพสำหรับ spark map vs flatmap     Map Function นั้นจะ return rdd ใหม่ ที่ถูกนำไปเข้า function ที่เราเขียนขึ้น
เช่น  หากมี  rdd ของ string
val newRDD = myRDD.map{ x => x.split(" ")}
โดย rdd ใหม่จะ return RDD[Array[String]] โดยจำนวน element เท่าเดิม

     FlatMap Function นั้นจะเหมือน Map แต่ จะ return rdd ใหม่ที่มีการเรียงลำดับ ของ single item
เช่น newRDD = myRDD.flatMap{ x => x.split(" ")}
โดย rdd ใหม่จะ return RDD[String] สังเกตได้ว่า rdd ใหม่จะมีการเปลี่ยนแปลงจำนวน element ใน rdd

ไม่มีความคิดเห็น:

แสดงความคิดเห็น