Kyeongrok Kim 웹데이터 수집의 기술06 구글앱스script > 데이터수집

 

안녕하세요. 웹 데이터 수집에 기술 동영상 강의입니다.
저는 이 책을 번역한 번역자 경록 입니다.
이번 시간에는 이 책의 3 다시 3당 인 구글 x 스크립트를 이용해
데이터 수집하기 를 해보도록 하겠습니다.
음 먼저 구글 스프레드 시트로 들어가보겠습니다.
네 곡을 스프레드시트를 들어가서
구글 스프레드시트 로 이동
내가 얘기 우 추하다 메 빨간색 버튼 3 스프레드 시트 만들기 쪼 눌러서
또 하나 만들어보겠습니다. 다음에 여기 대목을
한번 바꿔 볼게요
pets 스크립트
이런 식으로 그냥 거 같습니다.
크리트 를 프랙티스 연습한다는 뜻입니다.
여기 스크립트 편집기 로 들어가야 되는데요.
저 상단에 보시면 도구가 있구요.
그 다음에 스크립트 편집기 가 있습니다.
요걸 누르면 요렇게
스크립트를 편집을 할 수 있는 이런 화면으로 들어갈 수가 있습니다.
어 이게 프로그래밍 이라서 소스코드를 처음부터 타기는 좀 어렵기 때문에
우리 예제로 제공해 드린 걸 한번
복사 붙여넣기 해 가지고 돌려보면서
어떻게 작동하는지를 한번 보도록 하겠습니다.
챕터 3의 줘 메모장으로 넣어보겠습니다.
여기 아래쪽에 호기심에 이렇게 송전 하고 마의 성종 이렇게 있죠.
85 쪽 이렇게 되있는데요.
요거를 이렇게 과 로 끝나는 4까지 복사를 합니다.
function 홈 션으로 시작을 해서 여기 카로 까지 통화 카게 복사를
하셔야 되요.
새 카피 컨트롤 c 둘러 가지고
여기다가 이렇게 붙여넣기를 합니다.
그러면 개 소스 코드가 잘 들어갔죠
음 그래서 여기에서 축출을 해볼 데이터는
타크 리나 오시라고 이렇게 여기는 다음 파이낸스 의 005930
삼성전자 인 것 같네요. 요걸 복사해 가지고 한번 더 어딘지
보도록 하겠습니다.
탭 에다가 정확히 4
그럼 다음 골 명에 삼성전자 패 지네요.
여기에서 이 스크린 아웃이 라는
이런 뭐 태그가 포함이 되어있는 태그 라고 합니다. 이렇게 꺽쇠 로 시작해
가지고
헉 셀을 끝나고 그 다음에 슬러쉬 이렇게 끝나는 부분은 또 슬러쉬
되있는거
이런거를 이제 태그 라고 하는데요.
요렇게 돼 있는 패턴을 추출해 가지고 데이터를 출력하는 겁니다.
한번 실행을 해볼까요.
퍼서 를 이렇게 뽕 션 안쪽에 다가 넣고요 홍조는 안쪽 이라는게
중 가로 사이 안쪽을 말합니다. 이렇게
그래서 안쪽에 아무데나 넣고 그다음에
상단에 플레이 버튼 실행 버튼을 클릭을 딱 하면은
에 이렇게 저장을 하라고 나옵니다.
그래서 저장하고
제목 없는 프로젝트 말고 다음 그 명
뭐 1동 전작
이런식으로 음 뭐 이름은 크게 상관이 없습니다.
나중에 알볼 수 있게만 해 놓으면 되요.
저장을 하시고 그 다음엔 실행을
해야 되겠네요. 다시 탱 플레이 들어오면
코트 파일을 저장하는 중이라고 나오고 함수를 실행한 중 이라고 나오네요.
근데 이게 처음 실행하면 은 인증이 필요 하세요.
코난 검토 를 누릅니다.
그럼 이렇게 어떤 계정으로 할껀지 해서 저는 체커 한테 가지고
내 확인되지 않은 앱이 줘 왜냐하면 방금전에 작성 이기 때문이에요.
고급 그
고급설정 이해를 누른 다음에 데모 없는 프로젝트로 1동 이렇게 해야
되겠네요.
계속 계속 흘리며 카고 다음
그 다음에 여기서 허용 을 누르면 됩니다. 이렇게
패치 이지 않습니다. 헤치는 코드가 아닙니다.
그래 지금 실행이 이렇게 됐죠.
그래서 이렇게 타이틀 하고
삼성전자 어 이 텍스트를 가지고 온 건데요.
이북을 가져온 겁니다. 검사 한 번 둘러볼까요.
터보 분 초 9년을 수도 있겠네요.
모텔 으
어쨌든 여기 소스보기를 했을 때 m
예 이렇게 해가지고 스크린
5 씨라고 이렇게 돼 있는 부분
스크린 오 시 라고 되어 있는 부분의
어 특정 부분을 기출 한 겁니다.
어 정규표현식 이라는 걸 이용해서
때 이 부분이네요. 여기
이렇게 이 앱으로 시작을 해 가지고 이행으로 끝나는 이 부분을 추출을 한
겁니다.
정규 토 once 라는 걸 추출 했습니다.
종교 되어야지
정규표현식 이란 음 문서에서 특정 패턴으로 패턴으로 텍스트를 추출 할 수
있는 시기입니다.
근데 정규 표현식은 직접 작성을 해야 됩니다. 내가 어떤 부분에서
뽑아오고 싶은 지를 정확하게 알고 그 다음에 정규표현식을 내가 작성할 줄
알아야지
이 방법을 이용해서 데이터를
추출을 할 수가 있습니다.
그래서 그나마 우리 책을 보다보면 x 패스에 라는
xps 가 나오죠. 요 이전 강의에서 x 패스가 두 번이나 왔는데
아크 테스는 웹브라우저에서 마우스 오른쪽 버튼을 누르면
어쨌든 우리가 추출을 해낼 수가 있습니다. 그런데
정규표현식 으로 데이터를 추출 하려면 이정기 표현 씩 에 대해서 공부를
한 다음에 써야 되기 때문에
어 이 기술은 약간 고급 기술이라고 할 수가 있습니다.
어쨌든 요걸 이렇게 실행을 하면 은 어떤 데이터를 받아오는 거고요
받아와서
여기 2축 페이지에 있는 데이터를 받아와서 시트 에다가 출력을 하는
겁니다.
그럼 만약에 여기 다음 말고 다른 동 목을 하려면 이렇게 코드를 바꿈
되겠죠..
이 코드를 바꿔서 다른 페이지에서 한번 해보도록 하겠습니다.
lg 전자를 한번 해볼까요. l 이전 닿아
여기 보시면 065 체공 이네요. 그거 카트 해가지고
이쪽 에다가 고쳐 보겠읍니다.
저장하고 실행
요렇게 하면 은 1개가 이렇게 lg 전자 로 바뀌었죠
거기서 데이터를 추출하는 부분이 이 부분인데요.
여기는 채미 타이틀 타이틀을 추출하는 부분인데
이거 하나 카피해 가지고 다른 부분을 추출할 수가 있습니다.
이렇게 에 해가지고 전개 소식을 근데 좀
잘 써야 됩니다. 음
이거는 잠깐 보여 만 드리도록 하겠습니다.
알리지 exr 이라는 이런 페이지가 있는데요.
여기에서
페이지 소스 보기 내가 크롤링 을 하고 싶은 데이터 추출 하고 싶은
페이지에서 페이지 소스 보기를 해서 전체 선택 컨트롤 에이 한 다음에
컨트롤 쉬
여기다 컨트롤의 이 컨트롤 그 이렇게 하면은 붙여넣기가 되죠
이중에서 내가 원하는 부분을 뽑내야 되는데요.
여기 캡 r 여기 검사 누르거나 개발자 도구를 여러가지고
어디를 거 가볼까요. 즉 가격에 를 안 볼까요.
예 그래서 이걸 이렇게 복사를 합니다.
카피
아우 to xml
요렇게 쓰면 은 이제 회로가 나는데요.
여기 시계 있는것을 좀 전용을 해가지고 써보도록 하겠습니다.
음 4
요렇게 하면 은 이제 아까 그 lg 전자 라는 타이틀만
매칭이 되겠죠.. 중에 아까 여기 이 부분인데
이거 말 0
여기 ceo or 프라이스 킵 이라고 되어있네요.
이북 이거를 좀 각 피해가 좀 해보겠습니다.
이렇게 붙여 넣기를 하면 저기도 하나가 매치가 됐네요.
서로를 찾보면은
위의 외에 쯤에 있을 겁니다.
a 내용이 길어 가지고
찾기가 힘드네요.
네 어쨌든 이 식으로 한번 해보도록 하겠습니다. 카피해 가지고
이쪽 에다가 홈 번 붙여 넣기를 해볼게요
그 다음에 여기 타이틀이 아니고
뭣이 25r 프라이스
요렇게 하고요 음 그 다음에 출력할 때도 이렇게
재미 일행이 얼이 거든요
인생이 요리 아니고 일행 3녀 레다 감원 들어보겠습니다.
어 여기 타이틀이 아니고 c 2월 price
자 이거는 모두 속이라서 어제 치금 됩니다.
세미콘 기 오시면 되고요
수출이 되는 한번 실행을 해보도록 하겠습니다. 실행을 누르면
네 이렇게 가격이 킬러 게 됐죠.
일행 3년에서 요
그러니까 이런 식으로 종규 표현식 저는 정규 표현식에 대해서 개발자 니까
이걸 알기 때문에 어떤 식으로 꽂히면 될지를
터는 알 수가 있는데 음 이걸 잘 활용을 하고 싶다면 정규 표현식에
대해서 공부를 하시고 사용을 하면 좀더 정밀하게 데이터를 추출할 수가
있습니다.
이번시간은 여기까지 어 해서 마치도록 하겠습니다.