웹스크래핑

개발일지/웹개발

웹스크래핑, mongoDB 연습

네이버의 영화 순위를 가져와서 필요한 정보만 데이터베이스에 저장해보자 import requests # requests 를 임포트합니다. from bs4 import BeautifulSoup # bs4 를 임포트합니다. from pymongo import MongoClient # pymongo를 임포트합니다. client = MongoClient("mongodb://localhost:27017/") # 로컬 주소 db = client['e-room'] # 데이터베이스 이름 # 타겟 URL을 읽어서 HTML를 받아오고, headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko)..

개발일지/Python

웹스크래핑(크롤링) 기초

requests , bs4 라이브러리가 필요 크롤링 기본세팅 import requests from bs4 import BeautifulSoup # 타겟 URL을 읽어서 HTML를 받아오고, headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('url',headers=headers) # HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦 # soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨 # 이제 코딩을 통해 필요한..

E-room
'웹스크래핑' 태그의 글 목록