Spark를 설치하지 않았다면 spark부터 다운하자https://spark.apache.org/ 21")." data-og-host="spark.apache.org" data-og-source-url="https://spark.apache.org/" data-og-url="https://spark.apache.org/" data-og-image="https://scrap.kakaocdn.net/dn/blstQz/hyV58GvGN1/snNaKbKf5koGGp9T2V8rzk/img.jpg?width=1600&height=836&face=0_0_1600_836"> Apache Spark™ - Unified Engine for large-scale data analyticsRun now Install with..

RDD란?   - RDD는 Spark의 기본적인 자료구조로 데이터처리에 사용한다.   - RDD를 사용해 새로운 RDD를 생성하고, 또 반복하여 원하는 결과를 얻을 수 있다. 데이터 가공 (Rdd로부터 다른 Rdd 생성): transformation데이터 처리(가공없이 원하는 결과 조작) : action --> 각각의 원본 데이터를 넣었을때 어떠한 Rdd를 생성할 수 있는지 보여준다.Rdd.Map[1, 2, 3]각 요소에 2를 곱함[2, 4, 6]["hello", "world"]각 문자열에 "!"를 추가함["hello!", "world!"][(1, "a"), (2, "b")]각 튜플의 두 번째 요소를 대문자로 변환함[("a", "A"), ("b", "B")] Rdd.FlatMap["hello world"..

문제 우리나라 화폐단위, 특히 동전에는 1원, 5원, 10원, 50원, 100원, 500원이 있다. 이 동전들로는 정수의 금액을 만들 수 있으며 그 방법도 여러 가지가 있을 수 있다. 예를 들어, 30원을 만들기 위해서는 1원짜리 30개 또는 10원짜리 2개와 5원짜리 2개 등의 방법이 가능하다. 동전의 종류가 주어질 때에 주어진 금액을 만드는 모든 방법을 세는 프로그램을 작성하시오. 코드 import sys n = int(sys.stdin.readline()) for _ in range(n): coinTotal = int(sys.stdin.readline()) coinList = list(map(int, sys.stdin.readline().split())) totalMoney = int(sys.std..

우분투에서 열려 있는 포트번호 확인 및 포트번호의 정보를 볼 수 있는 파일에 대해 알아보고자 한다. 1. 포트번호 확인 (현재 활성화 상태인 PORT) "netstat": 네트워크 통계 정보를 출력하는 명령어 netstat 다양한 Option 뜻 -n (또는 "--numeric"): 포트 및 주소를 숫자로 표시하며, 호스트명을 해석하지 않습니다. 이를 사용하면 DNS 조회를 수행하지 않고 더 빠르게 결과를 얻을 수 있습니다. -t TCP 포트에 대한 정보를 출력합니다. -l 리스닝 중인 (대기 중인) 연결 정보를 출력합니다. -p 포트와 프로세스에 대한 정보를 출력하며, 어떤 프로그램이 해당 포트를 사용 중인지 확인할 수 있습니다. Root 권한 필요 ($sudo su) : "netstat" 명령은 네트..

apt-get - 시스템에 특정 소프트웨어 패키지를 설치, 삭제 또는 업그레이드를 할 때 우분투에서 사용된다. - 시스템 패키지 관리는 관리자 권한이 필요하기 때문에 "sudo"( Superuser Do ) 를 apt-get 앞에 붙여서 사용하자. 뜻을 알고 쓰면 더욱 기억에 잘 남기 때문에 apt가 무엇을 뜻하는지 알아보자. apt : Advanced Package Tool apt-get을 사용해 자주 쓰는 명령어들에 대해 알아보자 - install : 특정 패키지를 설치하거나 업그레이드 하기 위해서 사용하는 것ex) apt-get install telnetd(원격 접속), apt-get install openssh-server(암호화된 원격 접속), apt-get install net-tools (네..

ip 주소를 확인하기 위한 명령어는 다음과 같이 4개 정도가 있다. 1. ifconfig --> sudo apt-get install net-tools : ifconfig 사용을 위한 패키지 설치는 필수이다 eth0 외부 네트워크와의 통신을 담당하는 실제 네트워크 인터페이스 lo 로컬 시스템 내에서의 루프백 통신을 위한 가상 인터페이스 2. ip addr 3. ip a 3. hostname -I