摘要: 一、urllib.urlopen 1、urlopen from urllib import request r = request.urlopen('http://www.baidu.com/') # 获取状态码 print(r.status) # 获取相应头 print(r.getheaders( 阅读全文
posted @ 2019-11-20 23:43 市丸银 阅读(458) 评论(0) 推荐(0) 编辑
摘要: join用的不错 a = "Hello, world" b = "你好,世界" c = "How are you?" with open(file='a.txt', mode='w', encoding='utf-8') as f: f.write('\n'.join([a, b, c])) f.w 阅读全文
posted @ 2019-11-20 17:57 市丸银 阅读(304) 评论(0) 推荐(0) 编辑
摘要: csv 逗号分隔值 一、写入 1、列表 单行添加 import csv # with open(file='a.csv', mode='w', encoding='utf-8', newline='') as f: write = csv.writer(f) write.writerow(['id' 阅读全文
posted @ 2019-11-20 17:49 市丸银 阅读(772) 评论(0) 推荐(0) 编辑
摘要: 总结 开启浏览器 访问页面 查找节点 节点交互 click() send_keys() clear() 执行JS excute_script() 获取节点信息 属性 内容 其它 延时等待 隐式等待 implicitly 显示等待 前进和后退 Cookies 阅读全文
posted @ 2019-11-20 13:47 市丸银 阅读(65) 评论(0) 推荐(0) 编辑
摘要: 官网:https://github.com/scrapy-plugins/scrapy-splash 1、安装: pip install scrapy-splash 2、运行splash docker run -p 8050:8050 scrapinghub/splash 3、配置setting文件 阅读全文
posted @ 2019-11-20 13:44 市丸银 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 1、urlparse 作用:解析url from urllib import parse url = "https://book.qidian.com/info/1004608738" result = parse.urlparse(url=url) print(result) 结果: ParseR 阅读全文
posted @ 2019-11-20 12:43 市丸银 阅读(128) 评论(0) 推荐(0) 编辑