摘要：
参考:https://www.cnblogs.com/nickchen121/p/11517455.html 一.标识符与关键字 1.标识符 在编程语言中标识符就是程序员定义的具有特殊意义的词，比如变量名、常量名、函数名等等。 Go语言中标识符由字母数字和 (下划线）组成，并且只能以字母和 开头。 阅读全文
posted @ 2019-10-24 19:32
小小咸鱼YwY
阅读(486)
评论(0)
推荐(0)
摘要：
一.基本配置 1.项目名称 2.爬虫应用路径 SPIDER_MODULES = ['Amazon.spiders'] NEWSPIDER_MODULE = 'Amazon.spiders' 3.客户端User Agent请求头 USER_AGENT = 'Amazon (+http://www.yo 阅读全文
posted @ 2019-10-23 20:51
小小咸鱼YwY
阅读(877)
评论(2)
推荐(0)
摘要：
一.区分 根据 迭代器生成的对象是 还是 二.item 1.配置tem对象 在 文件中设置类 2.在爬虫程序中导入该类写相应的函数 三.再获得item参数后scrapy会自动执行pipelines.py文件中内容 1.settings文件进行注册 2.配置MyscrapyPipeline方法 阅读全文
posted @ 2019-10-23 19:59
小小咸鱼YwY
阅读(796)
评论(0)
推荐(0)
摘要：
一.源码 一.url(必须) :请求的地址 :str 二.callback :响应返回的回调函数(必须是类当中或者父类当中的方法),默认为 方法 :str 三.method :请求的方式 :str 四.headers :请求头 :dict 五.meta :我是这样理解的理解成传输时候一个类似容器的东 阅读全文
posted @ 2019-10-23 19:36
小小咸鱼YwY
阅读(1929)
评论(0)
推荐(0)
摘要：
一.新建文件 这个名字随意哈 方法一. 方法二 阅读全文
posted @ 2019-10-23 19:08
小小咸鱼YwY
阅读(1452)
评论(0)
推荐(1)
浙公网安备 33010602011771号