12 2017 档案

scrapy学习笔记之hello world
摘要：1. 创建项目文档在目标路径下，打开命令行，使用如下命令创建项目，例如项目名称为 "tutorial"： 1 scrapy startproject tutorialView Code- 创建项目时，会自动创建对应的目录，所以没有必要自己先预先创建项目名称的目录2. 使用pycharm创建项目由于是在windows下采用pycharm的IDE进行开发，因此直接在pycharm上创建一个项目，目录... 阅读全文
posted @ 2017-12-08 00:14 木lin木 阅读(230) 评论(0) 推荐(0) 编辑
scrapy输出的json文件中显示中文
摘要：scrapy用-o filename.json 输出时，会默认使用unicode编码，当内容为中文时，输出的json文件不便于查看，如下图：可以在setting.py文件中修改默认的输出编码方式，只需要在setting.py中增加如下语句（默认似乎是没有指定的，所以要增加，如果默认有，就直接修改）FEED_EXPORT_ENCODING = 'utf-8'修改后输出如下: 阅读全文
posted @ 2017-12-06 23:30 木lin木 阅读(3644) 评论(1) 推荐(0) 编辑
scrapy获取页面信息
摘要：本例子用命令行调试的方式，演示如何获取页面的特定信息:0） 示例页面1） 使用scrapy shell获取目标页面；scrapy shell http://bj.lianjia.com/ershoufang/pg1tt2/2）找到提取路径在页面（本例中使用谷歌浏览器）用F12查看代码，找到要提取目标字段，如第一个房源的地址，在工具下栏有一个css的“路径”：html body div div ul... 阅读全文
posted @ 2017-12-06 01:30 木lin木 阅读(2524) 评论(0) 推荐(0) 编辑