上一页 1 ··· 132 133 134 135 136 137 138 139 140 ··· 144 下一页
摘要: 前言 以博客园为例,爬取我的博客上首页的发布时间、标题、摘要,本篇先小试牛刀,先了解下它的强大之处,后面讲beautifulsoup4的详细功能。 一、安装 1.打开cmd用pip在线安装beautifulsoup4 >pip install beautifulsoup4 二、解析器 1.我们主要用 阅读全文
posted @ 2017-05-27 21:32 上海-悠悠 阅读(4965) 评论(0) 推荐(3) 编辑
摘要: 前言 前面一篇实现了参数的关联,那种只是记流水账的完成功能,不便于维护,也没什么可读性,接下来这篇可以把每一个动作写成一个函数,这样更方便了。 参数化的思维只需记住一点:不要写死 (由于博客园登录机制变了,登录全部用cookie,不用账号和密码登录了) 一、登录函数 1.s参数是session的一个 阅读全文
posted @ 2017-05-26 22:41 上海-悠悠 阅读(9828) 评论(0) 推荐(0) 编辑
摘要: 前言 我们用自动化发帖之后,要想接着对这篇帖子操作,那就需要用参数关联了,发帖之后会有一个帖子的id,获取到这个id,继续操作传这个帖子id就可以了 (博客园的登录机制已经变了,不能用账号和密码登录了,换个网站,或者用cookie登录吧) 一、删除草稿箱 1.我们前面讲过登录后保存草稿箱,那可以继续 阅读全文
posted @ 2017-05-26 20:47 上海-悠悠 阅读(9765) 评论(9) 推荐(3) 编辑
摘要: 前言 某屌丝男A鼓起勇气向女神B打电话表白,女神B是个心机婊觉得屌丝男A是好人,不想直接拒绝于是设置呼叫转移给闺蜜C了,最终屌丝男A和女神闺蜜C表白成功了,这种场景其实就是重定向了。 一、重定向 1. (Redirect)就是通过各种方法将各种网络请求重新定个方向转到其它位置,从地址A跳转到地址B了 阅读全文
posted @ 2017-05-21 17:54 上海-悠悠 阅读(8134) 评论(4) 推荐(1) 编辑
摘要: 前言 有些post的请求参数是json格式的,这个前面第二篇post请求里面提到过,需要导入json模块处理。 一般常见的接口返回数据也是json格式的,我们在做判断时候,往往只需要提取其中几个关键的参数就行,这时候就需要json来解析返回的数据了。 一、json模块简介 1.Json简介:Json 阅读全文
posted @ 2017-05-16 21:34 上海-悠悠 阅读(15400) 评论(11) 推荐(4) 编辑
摘要: 前言 有些登录的接口会有验证码:短信验证码,图形验证码等,这种登录的话验证码参数可以从后台获取的(或者查数据库最直接)。 获取不到也没关系,可以通过添加cookie的方式绕过验证码。 一、抓登录cookie 1.登录后会生成一个已登录状态的cookie,那么只需要直接把这个值添加到cookies里面 阅读全文
posted @ 2017-05-14 09:41 上海-悠悠 阅读(22250) 评论(15) 推荐(5) 编辑
摘要: 前言 上一篇模拟登录博客园,但这只是第一步,一般登录后,还会有其它的操作,如发帖,评论等,这时候如何保持会话呢? (敲黑板!!!由于博客园最近登录机制变了,登录全部走cookie登录) 一、session简介 1.查看帮助文档,贴了一部分,后面省略了 >>import requests>>help( 阅读全文
posted @ 2017-05-13 14:31 上海-悠悠 阅读(17603) 评论(9) 推荐(5) 编辑
摘要: 前言 发送post的请求参考例子很简单,实际遇到的情况却是很复杂的,首先第一个post请求肯定是登录了,但登录是最难处理的。登录问题解决了,后面都简单了。 一、查看官方文档 1.学习一个新的模块,其实不用去百度什么的,直接用help函数就能查看相关注释和案例内容。 >>import requests 阅读全文
posted @ 2017-05-10 23:18 上海-悠悠 阅读(26058) 评论(5) 推荐(5) 编辑
摘要: 前言 requests模块,也就是老污龟,为啥叫它老污龟呢,因为这个官网上的logo就是这只污龟,接下来就是学习它了。 一、环境安装 1.用pip安装requests模块 >>pip install requests 二、get请求 1.导入requests后,用get方法就能直接访问url地址,如 阅读全文
posted @ 2017-05-08 21:00 上海-悠悠 阅读(32641) 评论(9) 推荐(12) 编辑
摘要: 前言 为什么要保存会话呢?举个很简单的场景,你在上海测试某个功能接口的时候,发现了一个BUG,而开发这个接口的开发人员是北京的一家合作公司。你这时候给对方开发提bug, 如何显得专业一点,能让对方心服口服的接受这个BUG呢?如果只是截图的话,不是很方便,因为要截好几个地方还描述不清楚,不如简单粗暴一 阅读全文
posted @ 2017-05-02 23:36 上海-悠悠 阅读(10117) 评论(2) 推荐(10) 编辑
上一页 1 ··· 132 133 134 135 136 137 138 139 140 ··· 144 下一页