빅데이터

빅데이터 - 6. SFPD 응용

2022. 10. 9. 19:54
728x90

1. SFPD 데이터 다운로드

  • $ mkdir ~/sparkdata/sfpd
  • $ cd ~/sparkdata/sfpd
  • $ wget https://github.com/caroljmcdonald/sparkdataframeexample/blob/master/sfpd.csv

2. 하둡 적재

  • hadoop fs -mkdir /sparkdata/sfpd
  • hadoop fs -put sfpd.csv /sparkdata/sfpd
  • hadoop fs -ls /sparkdata/sfpd

3. SFPD 데이터 프레임 생성

  •  

주피터노트북을 이용 -> 스파크 실행 -> 데이터 프레임 생성
적재 및 생성

4. 데이터 조사 질의

  • 가장 사건이 많이 발생한 5개의 주소?
  •  

주소별로 그룹화, 각 주소 별로 사건의 수를 카운트

  •  

내림차순으로 정렬, 정렬된 처음 5개 주소를 표시한다.

5. 가장 사건이 많이 발생한 5개의 주소, SQL

  •  

6. 가장 사건이 많이 발생한 5개의 지구대는?

  •  

상위 5개의 지구대

7. 가장 많은 10개의 사건 해결 유형은?

가장 많은 10개의 사건 해결 유형

8. 가장 많은 3개의 범죄 유형은?

상위 3개의 범죄유형

 

728x90
저작자표시 비영리 변경금지 (새창열림)

'빅데이터' 카테고리의 다른 글

빅데이터 - 8. 자동차 온실가스 분석  (0) 2023.01.17
빅데이터 - 7. 단어 카운트  (0) 2022.10.09
빅데이터 - 5. 스파크 데이터프레임 연산  (0) 2022.09.18
빅데이터 - 4. 스파크 설치 및 테스트  (0) 2022.08.30
빅데이터 - 3. 맵리듀스 응용 구축  (0) 2022.08.30
'빅데이터' 카테고리의 다른 글
  • 빅데이터 - 8. 자동차 온실가스 분석
  • 빅데이터 - 7. 단어 카운트
  • 빅데이터 - 5. 스파크 데이터프레임 연산
  • 빅데이터 - 4. 스파크 설치 및 테스트
IT의 큰손
IT의 큰손
IT계의 큰손이 되고 싶은 개린이의 Log 일지
IT의 큰손
Developer Story House
IT의 큰손
전체
오늘
어제
  • 분류 전체보기 (457)
    • 정보처리기사 필기 (18)
    • 정보처리기사 실기 (12)
    • 정보처리기사 통합 QUIZ (12)
    • 빅데이터 (11)
    • 안드로이드 (11)
    • 웹페이지 (108)
    • 자바 (49)
    • SQLD (3)
    • 백준 알고리즘 (76)
    • 데이터베이스 (41)
    • 깃허브 (2)
    • Library (14)
    • Server (31)
    • 크롤링&스크래핑 (3)
    • Spring (23)
    • Vue.js (13)
    • React (27)

블로그 메뉴

  • 홈
  • 태그
  • 방명록

공지사항

  • Developer Stroy House

인기 글

태그

  • 앱개발자
  • 웹페이지
  • 자바
  • IT자격증
  • 데이터베이스
  • IT개발자
  • 정보보안전문가
  • it
  • 알고리즘
  • jsp
  • 백엔드
  • jquery
  • 개발블로그
  • JavaScript
  • 정보처리기사필기
  • ajax
  • 프론트엔드
  • DBA
  • 코딩테스트
  • IT자격증공부
  • 웹개발
  • DB
  • css
  • React
  • html
  • 백준
  • 정보처리기사
  • 웹개발자
  • 개발자
  • java

최근 댓글

최근 글

Designed By hELLO
IT의 큰손
빅데이터 - 6. SFPD 응용
상단으로

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.