[데이터분석] 데이터 크롤링 실습(1)
파이참에 환경 세팅selenium 다운로드pip install seleniumpip install --upgrade piphomebrew 로 Mac에 chromedriver 설치brew install chromedriberBeautifulSoup1. 라이브러리 가져오기# beautifulSoup 라이브러리 가져오기import requestsfrom bs4 import BeautifulSoup 2. robots.txt 읽어보기(예) 다나와 사이트 : https://danawa.com/robots.txt → url 뒤에 /robots.txt 붙이기robots.txt : 법적 효력이 없기 때문에, 수정사항이 있어도 반영되지 않을 수 있음모든 User-agent 에 대해 /user_report/, /elec/M..
2024.08.14