Apache Spark : First Application

     สำหรับการเขียน Spark Application นั้นเราจะเริ่ม App แรก ด้วย WordCount เนื่องจากเป็นการแสดงถึงการใช้ กระบวณการ MapReduce แบบง่ายๆ และไม่ยากต่อการเข้าใจ

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object WordCount{
  def main(args: Array[String]) {
    val sparkConf = new SparkConf()
      .setAppName("WordCount")
      .setMaster("local")

    val sc = new SparkContext(sparkConf)
    val myRDD = sc.textFile("input.txt")
    val wordcount = myRDD.flatMap { x => x.split(" ") }
      .map { x => (x, 1) }
      .reduceByKey(_ + _)
    wordcount.foreach(println)
  }
}

ผลลัพธ์ :