2017 年 11月 1 日随笔档案 - 郑哲

2017年11月1日

摘要： 1.help scrapy --help 输出帮助信息 2.scrapy version -v 查看组件版本号 3.startproject 创建一个项目 4.genspider scrapy genspider aaa aaa.com scrapy genspider bbb bbb.com 1）阅读全文

posted @ 2017-11-01 22:03 郑哲阅读(161) 评论(0) 推荐(0) 编辑

创建爬虫

摘要： 1.创建项目命令行到文件路径下， scrapy startproject tutorial 产生目录 tutorial/ scrapy.cfg tutorial/ __init__.py items.py settings.py middlewares.py pipelines.py spider 阅读全文

posted @ 2017-11-01 19:44 郑哲阅读(143) 评论(0) 推荐(0) 编辑

scrapy爬虫初体验

摘要：命令行运行代码 scrapy runspider 文件名.py -o 存储文件名.csv 1.在xx.py文件中找到已定义的爬虫，然后通过抓取引擎运行爬虫 2.具体的抓取过程： 1）使用start_urls作为初始url生成Request，并默认把parse作为它的回调函数。 2）在parse中采用阅读全文

posted @ 2017-11-01 18:06 郑哲阅读(128) 评论(0) 推荐(0) 编辑