안녕, 세상!

(1) 데이터 베이스의 분리 앞서 AWS EC2를 구축했을 때 EC2 안에 데이터 베이스 MySQL을 설치하고, EC2에서 데이터베이스를 사용하였습니다. 물론 EC2의 서버에 데이터 베이스를 구축해도 당장에는 문제가 없어 보이지만, 서비스를 운영하다 보면 많은 데이터의 저장이 요구되며, 만약 EC2에 문제가 생기면 데이터 베이스에도 접근하지 못한다는 문제가 발생합니다. 그러므로 보통 기본 서버와 데이터 베이스 서버를 분리해서 관리를 해줍니다. 이렇게 데이터 베이스를 분리함으로써 얻는 이점은 다음과 같습니다. N : 1의 확장성 보안에 좋음 편리성 아마존에서는 이렇게 데이터 베이스를 분리해서 관리할 수 있도록 RDS라는 서버를 제공해줍니다. RDS 인스턴스를 구축해보겠습니다. (2) RDS 인스턴스 생성 ..

겨울방학 때 학교 단기 특강으로 파이썬 데이터 분석가 양성 과정에서 마지막 이틀 동안 파이썬을 이용하여 데이터를 주제로 한 프로젝트를 만들어 보았습니다. 프로젝트 준비기간 : (2021.02.04~2021.02.05) (1) 주제 유튜브 영상의 데이터를 바탕으로 남자 아이돌과 여자 아이돌의 조회수, 좋아요, 싫어요 비교 데이터 분석 (2) 선정 배경 데이터를 제공하고자 하는 대상자는 기획사 사장입니다. 기획사 사장이 신생그룹을 만들려고 하는데, 회사의 현 상황을 고려하여 남자 아이돌을 만들지 여자 아이돌을 만들지 고민하고 있는 상황에서 sns에서 두 그룹의 홍보성이 어느 정도 되는지 궁금해서 그에 대한 데이터를 제공하자는 취재로 해당 프로젝트를 선정하였습니다. 그중 유튜브에서 남자 아이돌과 여자 아이돌의..

우리가 즐겨보는 유튜브에는 여러 데이터들이 있습니다. 영상의 제목, 조회수, 영상길이 등 다양한 데이트들이 있습니다. 이러한 데이터들을 추출하고 분석하고 싶은 마음이 있으실 것입니다. 유튜브에서는 이러한 사람들을 위해서 유튜브의 데이터를 제공하는 youtube data api가 있습니다. 해당 api를 사용하려면 api키가 필요한데 api키를 가져오는 방법을 작성해보겠습니다. (1) Google api console.developers.google.com/apis/dashboard?project=youtube-test1-303800 Google Cloud Platform 하나의 계정으로 모든 Google 서비스를 Google Cloud Platform을 사용하려면 로그인하세요. accounts.googl..

( 본 글의 크롤링은 크롤링이라기보다 스크래핑이 더 가깝습니다. 보통 사람들이 스크래핑도 크롤링이라고 부르는 경향이 있는 것 같습니다. 저도 일단 대중적인 표현으로 크롤링이라고 표현하겠습니다만 이 부분을 염두해주고 봐주시면 감사하겠습니다. ) 크롤링을 할 때 개인 사진 및 자료를 무단으로 수집해서 해당 개인에게 동의의 없이 수익활동을 한다면 불법입니다. 본 글은 지적 탐구와 호기심을 바탕으로 수익 없이 오로지 학습을 목적으로 인스타의 데이터에 접근해 사용해본 것입니다. 해당 사진에 대한 무단 배포를 절대 하지 않습니다. 필자는 윈도우 운영체제에서 크롬 웹브라우저와 jupyter notebook으로 실습을 진행하였습니다. (1) 인스타 셀레니움 창 띄우기 앞서 셀레니움을 사용하기 위해 한것처럼 빈 크롬 창..