摘要: def extract_cookies(cookie): """从浏览器或者request headers中拿到cookie字符串,提取为字典格式的cookies""" cookies = dict([l.split("=", 1) for l in cookie.split("; ")]) ret 阅读全文
posted @ 2019-05-10 20:42 乔儿 阅读(721) 评论(0) 推荐(0) 编辑
摘要: 1、查询某天的数据量: SELECT count(*) from crawled_goods where channel='yijiupi-beijing' and datediff(created_at,NOW()) = -1(0代表今天,-1代表昨天); 2、查询某个时间段的数据量:SELECT 阅读全文
posted @ 2019-05-10 13:34 乔儿 阅读(102) 评论(0) 推荐(0) 编辑
摘要: 一个字典通过format()函数转换后就会由dict变为str, 例如: 所以在用的时候需要再将str转为dict,这里用到的转换为eval(), 例如: 附上原链接:https://blog.csdn.net/weixin_40894428/article/details/80683137 阅读全文
posted @ 2019-05-10 10:56 乔儿 阅读(2614) 评论(0) 推荐(0) 编辑
摘要: 猜测你的代码是这样的: return Request('http://www.baidu.com', meta={'cookiejar': 1}, callback=self.next1) 有两种解决方法: 1.使用yield, 把return换为yield yield scrapy.Request(self.start_urls, callback=self.parse_link) ... 阅读全文
posted @ 2019-05-10 10:21 乔儿 阅读(447) 评论(0) 推荐(0) 编辑
摘要: 例如: 运行这个函数会报错:TypeError: not enough arguments for format string,原因是'Submit': '%sjdf'里面的%在后面的括号中没有定义,所以就会报错not enough argument(没有足够的参数),所以在遇到这种字符串中携带%的 阅读全文
posted @ 2019-05-10 10:08 乔儿 阅读(4405) 评论(0) 推荐(0) 编辑
摘要: [^\d]+代表从不是数字的字符开始匹配,后面的"+"表示有多个元素,(\d.*)表示从数字开始匹配,知道最后一个元素。 第二个表示已非数字结尾,匹配的就是纯数字。 阅读全文
posted @ 2019-05-09 19:54 乔儿 阅读(461) 评论(0) 推荐(0) 编辑
摘要: 附上原链接:https://www.cnblogs.com/wangboqi/p/7455240.html 阅读全文
posted @ 2019-05-09 19:48 乔儿 阅读(7948) 评论(0) 推荐(1) 编辑
摘要: 如果class下面发送请求时用的是return(return [scrapy.Request(url=url,headers=self.header,body=json.dumps(payload),method="POST",callback=self.parse)]),那么这个方法就不能调用类属 阅读全文
posted @ 2019-05-04 14:01 乔儿 阅读(1845) 评论(0) 推荐(0) 编辑
摘要: for number, lowercase, capital in zip(list1, list2, list3): 阅读全文
posted @ 2019-05-03 17:04 乔儿 阅读(811) 评论(0) 推荐(0) 编辑
摘要: 简介:它通过{}和:来代替传统%方式 1、使用位置参数 要点:从以下例子可以看出位置参数不受顺序约束,且可以为{},只要format里有相对应的参数值即可,参数索引从0开,传入位置参数列表可用*列表 2、使用关键字参数 要点:关键字参数值要对得上,可用字典当关键字参数传入值,字典前加**即可 3、填 阅读全文
posted @ 2019-05-02 17:17 乔儿 阅读(6128) 评论(0) 推荐(1) 编辑