안녕, 세상!

우리가 즐겨보는 유튜브에는 여러 데이터들이 있습니다. 영상의 제목, 조회수, 영상길이 등 다양한 데이트들이 있습니다. 이러한 데이터들을 추출하고 분석하고 싶은 마음이 있으실 것입니다. 유튜브에서는 이러한 사람들을 위해서 유튜브의 데이터를 제공하는 youtube data api가 있습니다. 해당 api를 사용하려면 api키가 필요한데 api키를 가져오는 방법을 작성해보겠습니다. (1) Google api console.developers.google.com/apis/dashboard?project=youtube-test1-303800 Google Cloud Platform 하나의 계정으로 모든 Google 서비스를 Google Cloud Platform을 사용하려면 로그인하세요. accounts.googl..

( 본 글의 크롤링은 크롤링이라기보다 스크래핑이 더 가깝습니다. 보통 사람들이 스크래핑도 크롤링이라고 부르는 경향이 있는 것 같습니다. 저도 일단 대중적인 표현으로 크롤링이라고 표현하겠습니다만 이 부분을 염두해주고 봐주시면 감사하겠습니다. ) 크롤링을 할 때 개인 사진 및 자료를 무단으로 수집해서 해당 개인에게 동의의 없이 수익활동을 한다면 불법입니다. 본 글은 지적 탐구와 호기심을 바탕으로 수익 없이 오로지 학습을 목적으로 인스타의 데이터에 접근해 사용해본 것입니다. 해당 사진에 대한 무단 배포를 절대 하지 않습니다. 필자는 윈도우 운영체제에서 크롬 웹브라우저와 jupyter notebook으로 실습을 진행하였습니다. (1) 인스타 셀레니움 창 띄우기 앞서 셀레니움을 사용하기 위해 한것처럼 빈 크롬 창..

( 본 글의 크롤링은 크롤링이라기보다 스크래핑이 더 가깝습니다. 보통 사람들이 스크래핑도 크롤링이라고 부르는 경향이 있는 것 같습니다. 저도 일단 대중적인 표현으로 크롤링이라고 표현하겠습니다만 이 부분을 염두해주고 봐주시면 감사하겠습니다. ) (1) 셀레니움이란? 셀레니움은 웹 애플리케이션 테스트를 위한 프레임워크입니다. 웹에 하는 명령을 코드화시켜서 작동시킵니다. 다양한 브라우저 작동을 지원하며 크롤링에도 활용됩니다. 현존하는 거의 모든 웹브라우저를 다양한 언어를 통해 제어 가능합니다. 크롤링에서는 정적, 동적 페이지 크롤링으로도 접근이 불가능한 데이터에 접근할 때 유용하게 사용됩니다. 필자는 크롬 환경에서 파이썬으로 제어하겠습니다. (2) 셀레니움 Setting 셀레니움을 사용하려면 사용하려는 브라우..

( 본 글의 크롤링은 크롤링이라기보다 스크래핑이 더 가깝습니다. 보통 사람들이 스크래핑도 크롤링이라고 부르는 경향이 있는 것 같습니다. 저도 일단 대중적인 표현으로 크롤링이라고 표현하겠습니다만 이 부분을 염두해주고 봐주시면 감사하겠습니다. ) 최근 웹페이지 부분이 Js로 변경이 되며, 일반적인 크롤링이 되지 않은 경우가 많습니다. 우선 동적 페이지가 무엇인지 파악해보겠습니다. (본 실습의 환경은 반드시 크롬에서 이뤄져야 합니다.) (1) 동적 페이지란 네이버 페이지의 일부분을 예를 들어서 설명하겠습니다. 빨간 상자 부분의 카테고리 부분을 클릭을 하게 되면 해당 카테고리에 대한 정보가 제공되면서 밑의 UI부분이 다른 화면으로 전환됩니다. 그러나 카테고리 목록 버튼을 눌러서 다른 화면으로 전환됨에도 불구하고..