목록It공부 (94)

안녕, 세상!

데이터 크롤링(스크래핑) 기본

( 본 글의 크롤링은 크롤링이라기보다 스크래핑이 더 가깝습니다. 보통 사람들이 스크래핑도 크롤링이라고 부르는 경향이 있는 것 같습니다. 저도 일단 대중적인 표현으로 크롤링이라고 표현하겠습니다만 이 부분을 염두해주고 봐주시면 감사하겠습니다. ) (1) 크롤링이란 크롤러(crawler)는 자동화된 방법으로 웹을 탐색하는 컴퓨터 프로그램을 말합니다. ① 웹 크롤러(web crawling) 웹 서비스 내 정보를 수집하는 일입니다. 웹에서 필요한 정보가 있다면 API를 확인하고, API가 없다면 직접 크롤링을 해야 합니다. 다만 직접 크롤링을 하는 것은 웹 서비스 제공자의 입자에서는 별로 좋지 않을 것입니다. ② 웹 크롤링의 전반적인 과정 1. 정보를 가져오고자 하는 url 정의 2. url 정보로 request..
It공부/Data science 2021. 2. 4. 00:15
2-7 Ubuntu Nginx 서브 도메인 및 Domain Redirection 적용

도메인이란 ip는 사람이 이해하고 기억하기 어렵기 때문에 이를 위해서 각 ip에 이름을 부여할 수 있게 했는데, 이것을 도메인이라고 합니다. 기본 도메인 : 처음에 신청한 기본 웹서버의 이름 (설정한 ip주소의 서버로 이동함) 멀티 도메인 : 기본 도메인에 호스트 이름만 다르게 붙여서 사용하는 여러 개의 도메인 서브 도메인 : 멀티 도메인과 거의 같으며, 도메인명으로 사용할 수 있는 문자의 개수 내에서 원하는 만큼의 호스트 이름을 얼마든지 붙여서 사용할 수 있는 도메인 가상 도메인 : 기본 도메인외에 별도의 도메인으로 기본 도메인과 같은 홈페이지에 연결된 도메인 FQDN(Fully Qualified Domain Name) www.lumin-server.shop이라는 웹사이트 주소로 예를 들어 설명하겠습니..
It공부/Server 2021. 2. 3. 12:16
2-6 AWS에 Let's Encrypt로 HTTPS 적용하기

현재 AWS의 서버 환경은 다음 같습니다. 운영체제 : Ubuntu 18.04 (LTS) 웹서버 : Nginx BL : PHP DBMS : MySQL 웹 서버에 기본적인 부분을 구축했으니 이제 보안 부분을 신경 써보겠습니다. HTTP(Hypertext Transfer Protocol) 클라이언트와 서버 양쪽에서 통신할 수 있도록 하는 기본 통신 프로토콜입니다. 앞서 웹서버 HTTP 프로토콜의 포트인 80번 포트로 접속하도록 설정을 하였습니다. HTTP는 브라우저와 서버 사이에서 정보를 평문으로 전송하므로 정보가 전달되는 네트워크에서 전송되는 정보를 엿볼 수 있습니다. HTTPS(HTTP Secure) 이를 예방하기 위해 클라이언트와 서버가 먼저 암호화 통신 채널을 설정한 다음 평문 HTTP 메시지를 전송..
It공부/Server 2021. 2. 2. 20:34
2-5 도메인 구입 및 설정

도메인을 가비아라는 사이트에서 구매를 합니다. www.gabia.com/ 웹을 넘어 클라우드로. 가비아 그룹웨어부터 멀티클라우드까지 하나의 클라우드 허브 www.gabia.com (.shop 도메인은 1년에 550원) (1) 가비아 DNS 설정 도메인을 구매하고 [My가비아] -> [서비스관리] -> [관리툴] DNS 정보 선택란에서 도메인 연결 '설정'버튼을 클릭합니다. 또 '설정' 버튼을 클릭합니다. '레코드 수정'버튼을 눌러서 다음과 같이 레코드 세팅을 해주고 저장합니다. DNS 레코드 Domain Name Systemd의 약자로, 인터넷에서 웹사이트 정보를 보유하고 있는 정보 시스템입니다. DNS 상에서 도메인에 관한 설정을 하기 위해 사용되는 일련의 문자들을 DNS 레코드라고 통칭합니다. 이 문..
It공부/Server 2021. 2. 2. 20:14
Prev 1 2 3 4 5 6 7 8 ··· 24 Next