크롤링&스크래핑
Crawling STEP 1 - JSOUP 사용
★ 크롤링(Crawling) 웹 사이트 > 페이지를 탐색해서 내가 원하는 데이터를 수집하는 행동 a. 상대방이 나에게 DB권한을 준다면..? > 실질적으로 불가능 b. 상대방이 외부에 OpenAPI를 공개 > 일부 공개 > 무난한 방법 c. a(x), b(x) > 웹페이지의 소스를 가져와서 직접 원하는 데이터를 추출하는 방법 > 크롤링 크롤링 주의점! - 허가 문제, 저작권 문제 - 정도껏~ > 긁어오는 작업 > 프로그램 > 속도 빠름!! & 횟수 많음!! > 서버 부하 + 트래픽 발생 - 크롤링 금지 사이트(접속 불가능 처리) 크롤링 사전 지식 1. HTML 이해 2. CSS 이해, JavaScript 이해 3. 자바 기반 > 클라이언트 코드 파싱 라이브러리 ■ Jsoup 브라우저처럼 사이트 접속 > ..
