随笔分类 -  抓取数据

网站迁移服务器后CPU、内存飙升，设置robots.txt 问题
摘要：User-agent: SemrushBotDisallow: /User-agent: SemrushBot-SADisallow: /User-agent: SemrushBot-BADisallow: /User-agent: YandexBot/3.0Disallow: /User-agen 阅读全文
posted @ 2020-05-26 19:29 ☆♂安♀★ 阅读(193) 评论(0) 推荐(0) 编辑
学信网模拟登录2
摘要：登录地址https://account.chsi.com.cn/passport/login?service=http%3A%2F%2Fmy.chsi.com.cn%2Farchive%2Fj_spring_cas_security_check 1.发现页面在初始化的时候就创建的cookie，然后页 阅读全文
posted @ 2016-11-30 09:27 ☆♂安♀★ 阅读(3124) 评论(1) 推荐(0) 编辑
模拟学信网登录，Cookie 序列化，在反序列化之后不能用的问题
摘要：昨天和今天在模拟学信网登录，然后抓取用户的信息数据的时候发现一直登录不成功， 登录页面，https://account.chsi.com.cn/passport/login?service=http%3A%2F%2Fmy.chsi.com.cn%2Farchive%2Fj_spring_cas_se 阅读全文
posted @ 2016-11-29 14:17 ☆♂安♀★ 阅读(1214) 评论(2) 推荐(0) 编辑

点击右上角即可分享
微信分享提示