requests

개발일지/웹개발

웹스크래핑, mongoDB 연습

네이버의 영화 순위를 가져와서 필요한 정보만 데이터베이스에 저장해보자 import requests # requests 를 임포트합니다. from bs4 import BeautifulSoup # bs4 를 임포트합니다. from pymongo import MongoClient # pymongo를 임포트합니다. client = MongoClient("mongodb://localhost:27017/") # 로컬 주소 db = client['e-room'] # 데이터베이스 이름 # 타겟 URL을 읽어서 HTML를 받아오고, headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko)..

개발일지/Python

웹스크래핑(크롤링) 기초

requests , bs4 라이브러리가 필요 크롤링 기본세팅 import requests from bs4 import BeautifulSoup # 타겟 URL을 읽어서 HTML를 받아오고, headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('url',headers=headers) # HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦 # soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨 # 이제 코딩을 통해 필요한..

개발일지/Python

Requests 라이브러리

Requests 함수를 사용하려면 Requests 라이브러리를 설치해야한다. 서울시 대기 OpenAPI에서, 모든 구의 IDEX_MVL 값을 가져온다. import requests # requests 라이브러리 설치 필요 r = requests.get('http://spartacodingclub.shop/sparta_api/seoulair') rjson = r.json() gus = rjson['RealtimeCityAir']['row'] for gu in gus: print(gu['MSRSTE_NM'], gu['IDEX_MVL']) IDEX_MVL 값이 60미만인 구만 가져온다. import requests # requests 라이브러리 설치 필요 r = requests.get('http://spart..

E-room
'requests' 태그의 글 목록