11 2019 档案

摘要:mongodb:非关系型数据、在硬盘上 用python操作mongodb scrapy 运行爬虫: 注意:两点 右键启动(更目录下新建main.py文件) scrapy内置的数据查找(\ \ ) 获取页面的xpath方法: 遇到一个小小的问题: 阅读全文
posted @ 2019-11-28 21:52 xg1321 阅读(88) 评论(0) 推荐(0) 编辑
摘要:1 解析json 2 SSL 3使用代理 4 认证设置 5 异常处理 继承requests的异常;也可以自己指定except异常 上传文件 解析库beautifulsoup find: name="标签名" 标签 id,class_,="" 把这个标签拿出来 标签.text 取标签的内容 标签.ge 阅读全文
posted @ 2019-11-26 20:21 xg1321 阅读(169) 评论(0) 推荐(0) 编辑
摘要:编码问题: get请求携带参数 模拟登陆 1带请求头 2request请求 3.如果登录成功,cookie会存在于res对象中 4.向首页发送get请求验证是否登陆成功 爬取视频 深浅拷贝 阅读全文
posted @ 2019-11-25 20:17 xg1321 阅读(152) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示