빅데이터
빅데이터 - 4. 스파크 설치 및 테스트
1. 스파크 다운로드 스파크 3.0.1 설치 $ wget http://mirror.apache-kr.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop3.2.tgz $ tar -xvzf spark-3.0.1-bin-hadoop3.2.tgz 2. 스파크 환경 변수 설정 bashrc 작성 ~/.bashrc에 vi하여 export 에 대한 SPARK_HOME, SPARK_CONF등 환경변수 설정을 한다. 작성 완료 후 source ~/.bashrc를 하여 적용한다. 설정 파일 복사 경로 : ~/spark-3.0.1-bin-hadoop3.2/conf/ $ cp workers.template workers $ cp spark-defaults.conf.template spark-defa..
