摘要: 一、爬取数据 在创建爬虫程序之后写入爬取数据的代码 之后在items.py 文件里为item对象设置属性 我们将爬取到的信息全部设置为item的属性 二、写入pipelines.py内容 我们自定义一个类,将item的数据写入到mysql里(在这之前将mysql和redis都启动) 在相同的文件下创 阅读全文
posted @ 2019-03-01 19:35 神神气气 阅读(528) 评论(0) 推荐(0) 编辑
摘要: 一 、安装scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架 安装: 1、 pip3 install wheel 2、下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 3、进入下载目录,执行 pip 阅读全文
posted @ 2019-03-01 19:19 神神气气 阅读(138) 评论(0) 推荐(0) 编辑