1. 데이터 프레임 생성 df = spark.createDataFrame([1,'홍민식', '컴퓨터공학과', 260), (2, '이세진', '경영학과', 240), (3, '김준헌', '철학과', 220), (4, '박서중', '경영학과', 230), (5, '김유민', '경영학과' 245), (6, '전인국', '컴퓨터공학과', 260)],['ID', '이름', '학과', '총점']) df.show() 2. 레코드 삽입 df1 = spark.createDataFrame([(7, '하상오', '컴퓨터공학과', 270), (8, '박선아', '컴퓨터공학과', 250)]) 새 데이터 프레임을 생성한 후, df2 = df.union(df1) 두 프레임을 결합한 새로운 데이터 프레임 생성 df2.show() 3..
1. 스파크 다운로드 스파크 3.0.1 설치 $ wget http://mirror.apache-kr.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop3.2.tgz $ tar -xvzf spark-3.0.1-bin-hadoop3.2.tgz 2. 스파크 환경 변수 설정 bashrc 작성 ~/.bashrc에 vi하여 export 에 대한 SPARK_HOME, SPARK_CONF등 환경변수 설정을 한다. 작성 완료 후 source ~/.bashrc를 하여 적용한다. 설정 파일 복사 경로 : ~/spark-3.0.1-bin-hadoop3.2/conf/ $ cp workers.template workers $ cp spark-defaults.conf.template spark-defa..
1. OpenJdk-8 자바 설치 https://openjdk.java.net/ sudo apt install -y openjdk-8-jdk 자바 환경변수 설정 ~/.bashrc에 추가 export JAVA_HOME="usr/lib/jvm/java-8-openjdk-amd64" export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH $ java -version을 통해 자바 설치 버전 확인 2. 노드 호스트 이름 설정 /etc/hosts 192.168.100.200 master MASTER 192.168.101.201 worker1 WORKER1 3. 하둡 설치 - 패키지 다운로드 wget https://archive.apac..
주요 용어 클러스터 서버 VirtualBox 가상머신을 사용. 2 개의 리눅스 서버 1 개의 NAT 게이트웨이 하둡, 스파크를 이용 클라이언트 ssh 접속 프로그램 : OpenSSH Client Visual Studio Code iPutty CIDR IP 주소의 서브넷 부분이 임의의 길이를 가지는 것. DHCP 호스트가 네트워크에 접속할 때 서버로부터 IP 주소를 동적으로 획득 네트워크에 연결되었을 때만 주소를 가지므로 주소의 재사용 가능 NAT 네트워크 주소 변환 1. VirtualBox 가상 머신 - 다운로드 https://www.virtualbox.org/wiki/Downloads 에 들어가서 다운로드. 여기서 패키지에서 Windows hosts 용으로 다운로드 해야한다. 이어서, 다운로드 받은 파..
12-0 소프트웨어 패키징 : 모듈별로 생성한 실행 파일들을 묶어 배포용 설치 파일을 만드는 것 릴리즈 노트 : 소프트웨어 개발 과정에서 정리된 릴리즈 정보 고객과 공유하기 위한 문서 저작권 : 창작자가 가지는 배타적 독점적 권리로, 타인의 침해를 받지 않을 고유한 권한 디지털 저작권 관리(DRM) : 저작권자가 배포한 디지털 콘텐츠가 저작권자가 의도한 용도로만 사용되도록 디지털 콘텐츠 관리 및 보호기술 클리어링 하우스 : 저작권에 대한 사용권한, 라이선스 발급, 암호화된 키 관리 등 콘텐츠 제공자 : 콘텐츠를 제공하는 저작권자 패키저 : 콘텐츠를 메타 데이터와 함께 배포 가능한 형태로 묶어 암호화하는 프로그램 콘텐츠 분배자 : 암호화된 콘텐츠를 유통하는 곳이나 사람 콘텐츠 소비자 : 콘텐츠를 구매해서 ..
11-0 운영체제 : 시스템 자원들을 효율적으로 관리하며, 사용자가 컴퓨터를 편리하고 효율적으로 사용할 수 있도록 환경을 제공하는 여러 프로그램의 모임 목적 : 처리능력, 반환시간, 사용가능도, 신뢰도 기능 : 자원관리, 스케줄링, 인터페이스 제공, 하드웨어&네트워크 관리 등등 운영체제 종류 Windows : 마이크로소프트 사가 개발한 운영체제 그래픽 사용자 인터페이스 (GUI) : 키보드로 명령어를 직접 삽입X, 마우스로 아이콘이나 메뉴를 선택 선점형 멀티테스킹 : 동시에 여러 프로그램을 실행하는 멀티태스킹을 하면서 문제 발생시 프로그램 강제 종료 후 반환 PnP (자동감지) : 프린터나 사운드카드 등의 하드웨어를 설치했을 때, 시스템 환경을 운영체제가 자동으로 구성해주는 기능 OLE : 다른 여러 응..
10-0 서버 개발 : 웹 애플리케이션의 로직을 구현할 서버 프로그램을 제작하여 WAS에 탑재하는 것을 의미. 서버 개발 프레임워크 Spring : 자바 기반 Node.js : 자바 스크립트 기반 Django : 파이썬 기반 Codeighiter : PHP 기반 Ruby on Rails : RUBY 기반 API : 응용 프로그램 개발시 OS나 프로그래밍 언어등에 있는 라이브러리를 이용할 수 있도록 규칙을 정의해놓은 것 배치 프로그램 : 사용자와의 상호작용 없이 여러 작업들을 미리 정해진 일련의 순서에 따라 일괄적으로 처리하는 것을 의미 배치 스케줄러 스프링 배치 : 오픈 소스 프레임워크로 스프링이 가지고 있는 다양한 기능들을 모두 사용가능. Quartz : 스프링 프레임워크로 스프링이 가지고 있는 다양한..
9-0 SECURE SDLC : 보안상 안전한 S/W를 개발하기 위해 SDLC에 보안강화를 위한 프로세스를 포함한 것 종류 CLASP : Secure Software 사에서 개발, SDLC 초기 단계 보안 강화, 활동중심 역할 기반 프로세스로 구성 SDL : Microsoft 사에서 기존의 SDLC를 개선한 방법론 Seven TouchPoint : 보안의 모범사례를 SDLC에 통합한 방법론, 7개의 보안 활동을 수행 보안 요소 기밀성 : 정보와 자원은 인가된 사용자에게만 접근이 허용 무결성 : 오직 인가된 사용자만 수정가능 가용성 : 인가된 사용자는 언제라도 사용가능 인증 : 정보와 자원을 사용하려는자가 합법적인지 확인하는 모든 행위 부인방지 : 데이터 송,수신한자가 부인할 수 없도록 증거 제공 설계단계..
