SPARK(2)
-
Spark - WordCount 예시
Spark를 설치하지 않았다면 spark부터 다운하자https://spark.apache.org/ 21")." data-og-host="spark.apache.org" data-og-source-url="https://spark.apache.org/" data-og-url="https://spark.apache.org/" data-og-image="https://scrap.kakaocdn.net/dn/blstQz/hyV58GvGN1/snNaKbKf5koGGp9T2V8rzk/img.jpg?width=1600&height=836&face=0_0_1600_836"> Apache Spark™ - Unified Engine for large-scale data analyticsRun now Install with..
2024.05.14 -
Spark - RDD 다루기
RDD란? - RDD는 Spark의 기본적인 자료구조로 데이터처리에 사용한다. - RDD를 사용해 새로운 RDD를 생성하고, 또 반복하여 원하는 결과를 얻을 수 있다. 데이터 가공 (Rdd로부터 다른 Rdd 생성): transformation데이터 처리(가공없이 원하는 결과 조작) : action --> 각각의 원본 데이터를 넣었을때 어떠한 Rdd를 생성할 수 있는지 보여준다.Rdd.Map[1, 2, 3]각 요소에 2를 곱함[2, 4, 6]["hello", "world"]각 문자열에 "!"를 추가함["hello!", "world!"][(1, "a"), (2, "b")]각 튜플의 두 번째 요소를 대문자로 변환함[("a", "A"), ("b", "B")] Rdd.FlatMap["hello world"..
2024.05.13