빅데이터 - 6. SFPD 응용

1. SFPD 데이터 다운로드

• $ mkdir ~/sparkdata/sfpd
• $ cd ~/sparkdata/sfpd
• $ wget https://github.com/caroljmcdonald/sparkdataframeexample/blob/master/sfpd.csv

2. 하둡 적재

• hadoop fs -mkdir /sparkdata/sfpd
• hadoop fs -put sfpd.csv /sparkdata/sfpd
• hadoop fs -ls /sparkdata/sfpd

3. SFPD 데이터 프레임 생성

•  

주피터노트북을 이용 -> 스파크 실행 -> 데이터 프레임 생성

적재 및 생성

4. 데이터 조사 질의

• 가장 사건이 많이 발생한 5개의 주소?
•  

주소별로 그룹화, 각 주소 별로 사건의 수를 카운트

•  

내림차순으로 정렬, 정렬된 처음 5개 주소를 표시한다.

5. 가장 사건이 많이 발생한 5개의 주소, SQL

•  

6. 가장 사건이 많이 발생한 5개의 지구대는?

•  

상위 5개의 지구대

7. 가장 많은 10개의 사건 해결 유형은?

가장 많은 10개의 사건 해결 유형

8. 가장 많은 3개의 범죄 유형은?

상위 3개의 범죄유형