목록분류 전체보기 (99)

안녕, 세상!

셀레니움(selenium)으로 크롤링(스크래핑)

( 본 글의 크롤링은 크롤링이라기보다 스크래핑이 더 가깝습니다. 보통 사람들이 스크래핑도 크롤링이라고 부르는 경향이 있는 것 같습니다. 저도 일단 대중적인 표현으로 크롤링이라고 표현하겠습니다만 이 부분을 염두해주고 봐주시면 감사하겠습니다. ) (1) 셀레니움이란? 셀레니움은 웹 애플리케이션 테스트를 위한 프레임워크입니다. 웹에 하는 명령을 코드화시켜서 작동시킵니다. 다양한 브라우저 작동을 지원하며 크롤링에도 활용됩니다. 현존하는 거의 모든 웹브라우저를 다양한 언어를 통해 제어 가능합니다. 크롤링에서는 정적, 동적 페이지 크롤링으로도 접근이 불가능한 데이터에 접근할 때 유용하게 사용됩니다. 필자는 크롬 환경에서 파이썬으로 제어하겠습니다. (2) 셀레니움 Setting 셀레니움을 사용하려면 사용하려는 브라우..
It공부/Data science 2021. 2. 5. 22:08
동적페이지 크롤링(스크래핑)

( 본 글의 크롤링은 크롤링이라기보다 스크래핑이 더 가깝습니다. 보통 사람들이 스크래핑도 크롤링이라고 부르는 경향이 있는 것 같습니다. 저도 일단 대중적인 표현으로 크롤링이라고 표현하겠습니다만 이 부분을 염두해주고 봐주시면 감사하겠습니다. ) 최근 웹페이지 부분이 Js로 변경이 되며, 일반적인 크롤링이 되지 않은 경우가 많습니다. 우선 동적 페이지가 무엇인지 파악해보겠습니다. (본 실습의 환경은 반드시 크롬에서 이뤄져야 합니다.) (1) 동적 페이지란 네이버 페이지의 일부분을 예를 들어서 설명하겠습니다. 빨간 상자 부분의 카테고리 부분을 클릭을 하게 되면 해당 카테고리에 대한 정보가 제공되면서 밑의 UI부분이 다른 화면으로 전환됩니다. 그러나 카테고리 목록 버튼을 눌러서 다른 화면으로 전환됨에도 불구하고..
It공부/Data science 2021. 2. 5. 19:39
데이터 크롤링(스크래핑) 기본

( 본 글의 크롤링은 크롤링이라기보다 스크래핑이 더 가깝습니다. 보통 사람들이 스크래핑도 크롤링이라고 부르는 경향이 있는 것 같습니다. 저도 일단 대중적인 표현으로 크롤링이라고 표현하겠습니다만 이 부분을 염두해주고 봐주시면 감사하겠습니다. ) (1) 크롤링이란 크롤러(crawler)는 자동화된 방법으로 웹을 탐색하는 컴퓨터 프로그램을 말합니다. ① 웹 크롤러(web crawling) 웹 서비스 내 정보를 수집하는 일입니다. 웹에서 필요한 정보가 있다면 API를 확인하고, API가 없다면 직접 크롤링을 해야 합니다. 다만 직접 크롤링을 하는 것은 웹 서비스 제공자의 입자에서는 별로 좋지 않을 것입니다. ② 웹 크롤링의 전반적인 과정 1. 정보를 가져오고자 하는 url 정의 2. url 정보로 request..
It공부/Data science 2021. 2. 4. 00:15
2-7 Ubuntu Nginx 서브 도메인 및 Domain Redirection 적용

도메인이란 ip는 사람이 이해하고 기억하기 어렵기 때문에 이를 위해서 각 ip에 이름을 부여할 수 있게 했는데, 이것을 도메인이라고 합니다. 기본 도메인 : 처음에 신청한 기본 웹서버의 이름 (설정한 ip주소의 서버로 이동함) 멀티 도메인 : 기본 도메인에 호스트 이름만 다르게 붙여서 사용하는 여러 개의 도메인 서브 도메인 : 멀티 도메인과 거의 같으며, 도메인명으로 사용할 수 있는 문자의 개수 내에서 원하는 만큼의 호스트 이름을 얼마든지 붙여서 사용할 수 있는 도메인 가상 도메인 : 기본 도메인외에 별도의 도메인으로 기본 도메인과 같은 홈페이지에 연결된 도메인 FQDN(Fully Qualified Domain Name) www.lumin-server.shop이라는 웹사이트 주소로 예를 들어 설명하겠습니..
It공부/Server 2021. 2. 3. 12:16
Prev 1 2 3 4 5 6 7 8 ··· 25 Next