1. 스파크 다운로드 스파크 3.0.1 설치 $ wget http://mirror.apache-kr.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop3.2.tgz $ tar -xvzf spark-3.0.1-bin-hadoop3.2.tgz 2. 스파크 환경 변수 설정 bashrc 작성 ~/.bashrc에 vi하여 export 에 대한 SPARK_HOME, SPARK_CONF등 환경변수 설정을 한다. 작성 완료 후 source ~/.bashrc를 하여 적용한다. 설정 파일 복사 경로 : ~/spark-3.0.1-bin-hadoop3.2/conf/ $ cp workers.template workers $ cp spark-defaults.conf.template spark-defa..
1. 데이터 다운로드 wget을 이용하여 사이트에 있는 receipts.txt 파일을 다운로드 한다. 정상적으로 다운로드를 완료한다. 2. RECEIPTS ReceiptsMapper 패키지 Receipts를 받아, import를 한다. Mapper 클래스 인수 : 입력키,입력값,출력키,출력값 타입을 구분 Map() 메서드 인수 : 입력키, 입력값,실행되는 작업의 컨텍스트 필드 구분을 위하여 StringTokenizer을 사용. 키(“Summary”)와 합성값(year_delta) 출력 ReceiptReducer Reducer 클래스 인수 : 입력키,입력값,출력키,출력값 Reduce() 메서드 인수 : 입력키,입력값,실행되는 작업의 컨텍스트 합성 값들에서 년도와 delta를 분리하고 delta 값을 Lon..
1. OpenJdk-8 자바 설치 https://openjdk.java.net/ sudo apt install -y openjdk-8-jdk 자바 환경변수 설정 ~/.bashrc에 추가 export JAVA_HOME="usr/lib/jvm/java-8-openjdk-amd64" export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH $ java -version을 통해 자바 설치 버전 확인 2. 노드 호스트 이름 설정 /etc/hosts 192.168.100.200 master MASTER 192.168.101.201 worker1 WORKER1 3. 하둡 설치 - 패키지 다운로드 wget https://archive.apac..
