Kyeongrok Kim 웹데이터 수집의 기술20 여러페이지 데이터수집 > 데이터수집

데이터 수집

데이터수집-스크래핑, 크롤링, 파싱

Kyeongrok Kim | 웹데이터 수집의 기술20 여러페이지 데이터수집

본문

※ 영상을 선명하게 보기 안내
  1. 유튜브 영상에서 오른쪽하단에 톱니바퀴를 클릭합니다.
  2. 팝업목록에서 "품질" 선택하세요.
  3. 원하는 해상도를 선택해주세요.
※ 모바일에서 Wifi가 아니라면 데이타가 소진될 수 있으니 주의바랍니다.
Kyeongrok Kim님의 데이터수집강의 청각장애인을 위한 자막
15688760610447.jpg

 


안녕하세요. 웹 데이터 수집의 기술 동영상 강의입니다.
저는 이 책을 번역한 김경목 입니다. 이번 시간에는 6배 18장 여러
페이지 크롤링 하기를 해보도록 하겠습니다.
인터넷에 보시면 어 데이터들이 여러 페이지에 걸쳐서
서비스 되고 있습니다. 그런데 지금까지 배운 것은 특정한 페이지 있는
테이터를 수집하는 걸 배웠습니다.
그래서 이번 시간에는 여러 페이지에 있는 테이터를 수집하는 걸 해 보도록
하겠습니다.
어 일단은 음 대상이 되는 사이트에 한번 접속을 해보도록 하겠습니다.
한빛 네트워크 에 이 사이트에서 페이징 형태로 되어있는
그 데이터를 한번 수집에 보도록 하겠습니다.
상단의 메뉴 중에서 스토 라고 있습니다.
이 스토어를 한번 둘러보겠습니다.
그럼 여기에서 전체 도서 목록이 있습니다.
이걸 한번 둘러보겠습니다.
그러면 이렇게 밑으로 내려보면 이렇게 페이지 형태로 여러 페이지에 걸쳐서
얻어서 목록이 있는 걸 볼 수가 있습니다.
그럼 여기 이렇게 두 번째 장을 한번 둘러보겠습니다.
그러면 여기 상단에 보시면 이렇게 페이지 이라고 나오죠.
그래서 예를 한번 1로 바꾸어 가 페이지 1
네 그러면 이게 첫번째 페이지로 바뀝니다.
첫번째 페이지 바뀌죠 그래서 이쪽 상단에 여기 있는 주소가 어떤 페이지를
가리키는 되요.
가희 페이지 번호를 바꿔 가면서
데이터를 수집 을 하면 여러 대의 여러 페이지에 걸쳐 있는 데이터를
수집할 수 있습니다.
그러면 이걸 엑셀 vba 에서 한번 수집해 보도록 하겠습니다.
엑셀을 실행해 보겠습니다.
그리고 여기서 알트
플러스 f11 번을 누르시면
vb
비쥬얼베이직 에디터 페이지로
비쥬얼베이직 에디터가 이렇게 맞게 됩니다.
난 여기서 오른쪽 버튼 누르시고 그 다음에 삽입 모듈
예 를 누르면 이렇게 코딩할 수 있는 화면이 나오죠.
그 다음에 우리 항상 체크해 주는 거 있죠. 상단 도구 에서
참조 를 눌러줍니다.
그렇게 목록이 나오는데요. 지난번에 했던 것처럼 마이크로소프트 로
시작하는 겁니다. 와 마이크로소프트 html5 오브젝트 라이브러리
그담에 마이크로소프트 인터넷 컨트롤 스 나 이거 두개를 선택을 하시고
확인
누르시면 됩니다.
그 다음에 소스코드를 직접 짜면 좋겠지만
제 첫작 이가 힘들기 때문에 우리에게 메모장 블링크 소스코드 제공하는데
에서 한번 풀어보도록 하겠습니다.
어이 지금 챕터 6 2 줘 챕터 6
매우 쩜오 여러가지고
네 여기 밑에 보시면 어
고객님이 은 네 꼭 다음에 이거
입니다. 요거 크롤링 하는 페이 집어 넣어요.
그래서 여기 프라이빗 부터 and 서브 까지 카피를 합니다.
이걸 결 태풍 11 눌러 가지고 붙여넣기
네 그래서 여기 이렇게 이 쪽에 보시면 1번부터 3번까지
페이지를 크롤링 할 수가 있습니다. 한번 실행을 해보도록 하겠습니다.
f 번을 누르고 난 상단에 플레이버튼을 누르시면 되요.
한번 실행해 볼까요. 플레이
네 이렇게 누르면 인터넷 익스플로러가 나오고요 그 다음에 또 두번째
그리고 세번째 까치 나왔다가 이렇게 받침 입니다.
이렇게 하면 데이터가 이렇게 들어왔죠
그래서 1페이지에 있는 책들 쭉 블라 졌고
여기 페이지에 있는 책들도
이렇게 쪽 불러 졌습니다.
그래서 여기에서는 음 1 투 3 요렇게 말고 모일 투 10가지 한다
그러면
10페이지 까지 쪽 데이터 수집이 되구요. 그 다음에
음 이걸 바꿔주면 은 m 번째 페이지까지 내가 지정한 페이지까지
어크 롤링이 되게 되겠습니다.
그래서 여기서 핵심 코드에는 어떤건 하면요
이쪽이 래프트 라는 건데요.
이게 이 문서에서 어떤 2 어떤 부분을
어 크 롤링을 해 올지 이걸로 지정을 하는 겁니다.
그래서 지금은 여기 책 제목만 해 갖고 왔는데요.
그래서 컨트롤 쉬프트 c 를 눌러 가지고
여기 마우스 이렇게 올리면 되고 이렇게 레프트 라고 나오죠.
이렇게 나오는데 이 쪽의 가격을 많이 하고 싶다 그러면 라이트를
라이트 라고 되어 있네요. 라이트 라고 되어 있는 부분을
한번 지정을 해 줘 보도록 하겠습니다.
소스 코드에서 이렇게 레프트 땅
와이트 를 한번 해보겠습니다. 여기다가 아
right
라이트로 바뀌면 가격들이 쭉 들어오겠죠.
포장하고 저장 하기 전에 요
뭐 실행해 보도록 하겠습니다. 이번에는 일부터 5건 페이지까지 에요. 실행
네 이렇게 누르면 5 페이지를 애가 크롤링 을 해서
어 갔다가 출력을 해 줍니다.
이번에는 그 래 프 트 가 아니고 라이트로 뽑기 때문에
가격이 나오겠죠.
선 볼까요. 네 이렇게 가격이 출력이 되었습니다.
그 다음에 제 목하고 가격을 둘 다 하려면
여기 밑에 이렇게 하나를 더 만들어 주고 저 뭐라는 걸 로 투 이런식으로
만들어서
두 번 반복을 할 수 있대 얻자 주면
제 마커 가격 2 다크 롤링을 할 수가 있겠습니다.
이번 시간에는 여기까지 하도록 하겠습니다. 소개하였습니다.

댓글 0개

등록된 댓글이 없습니다.

본 사이트의 컨텐츠는 명시적으로 공유기능을 제공하고 있는 공개된 자료를 수집하여 게시하고 있습니다.

저작권, 강의등록, 광고, 제휴등은 "관리자에게 문의"로 메세지 주시면 확인후 답변드립니다.

Menu