摘要: 第二次写 第一次写到一半蹦了 心态很炸 自己看懂就好了 不一定会很详细了 先把入口url更改一下 然后去新建一个main.py文件 在里面写入一下内容 这样就不用每次到终端运行了 然后正常写我们的爬虫文件 先去我们的页面https://movie.douban.com/top250 我用的是goog 阅读全文
posted @ 2018-10-25 15:36 黄溢 阅读(416) 评论(0) 推荐(0) 编辑
摘要: 此次是做一个豆瓣的top250信息的抓取 首先打开pycharm 在pycharm的下端的Terminal中输入scrapy startproject douban 此时系统就生成了以下文件(spiders文件下自带一个_init_.py)还有一个_init_.py items.py middlew 阅读全文
posted @ 2018-10-25 02:20 黄溢 阅读(4443) 评论(0) 推荐(0) 编辑
摘要: 本人系统是win10 64位电脑 ide使用的是pycharm 此次学习内容源自慕课网大壮老师的《Python最火爬虫框架scrapy入门》 由于大壮老师使用的linux 所以有些东西需要自己查找 说实话在pycharm上安装和用命令直接安装比linux来得方便的多 首先输入pip3 install 阅读全文
posted @ 2018-10-25 01:34 黄溢 阅读(2335) 评论(0) 推荐(0) 编辑