爬虫----抽屉新热榜
一、BeautifulSoup4
结果为：
二、scrapy---爬取抽屉新热榜
1.首先win+r 打开cmd
2.建立项目文件 如在D盘下的某个文件夹下建立某个文件
输入D：后回车
输入cd cxf 回车
输入dir 查看该目录下的文件
输入scrapy startproject 项目名称
输入scrapy genspider chouti chouti.com 回车
输入scrapy crawl chouti 回车
输入scrapy crawl chouti --nolog 回车
3.用Pycharm打开以上建立的文件
4.打开settings.py 将此处的值改为 False 图片上我已修改过
5. 在下图框内添加User -Agent(打开抽屉新热榜后，右键 选择检查 点击Network 刷新页面后 点击dig.chouti.com)
6.保存settings文件 打开chouti.py文件
