摘要:
错误:class path resource [config/spring/springmvc.xml] cannot be opened because it does not exist 错误原因:找不到我的springmvc.xml,在下面web.xml中是我引用路径,网上找到问题classp 阅读全文
摘要:
最近在使用python爬取高考分数线时,获得的response里面输出了中文乱码: 解决方案是:将response设置编码格式,一般的如果网页中没有标明type格式,一般默认的都是'ISO-8859-1'编码,我们只需要把编码格式转为 'gb2312' 即可 添加一行代码:下面标红的,这样就可以解决 阅读全文
摘要:
在使用python进行数据爬取的时候,我们发现ajax请求比较繁琐,那么有什么好的办法可以解决呢?就是使用selenium自动化工具,模拟输入点击,这样我们就可以不需要知道ajax的请求链接,从而可以直接通过类似人工的操作来模拟,从而可以获取网页数据。我们来举个例子。 淘宝的首页,我们打开发现没有商 阅读全文
摘要:
通常我们从网页上爬取内容时,都是HTML代码,内容都已经写好了,直接从页面获取想要的信息即可,但是有的网页是通过ajax获取的数据,将ajax获取的数据通过json格式接受,然后展示在页面上的,也就是说,当我们打开一个页面时,首先请求的是他的html,然后HTML里面通过ajax获取后端数据,将数据 阅读全文
摘要:
1.基本使用 2.声明浏览器对象 3.访问页面 4.查找元素 单个元素 多个元素 5.元素交互操作 6.交互动作 7.执行JavaScript 8.获取属性 9.获取文本值 10.获取ID,位置,标签名,大小 11.Frame 12.隐式等待 13.显示等待 14.前进后退 15.Cookies 1 阅读全文
摘要:
今天学习pyquery 读取HTML文件时,报错 这是字符编码错误,读取的时候不能读取gbk格式的字符 然后打开HTML文档,发现里面有中文字符,将中文字符去掉之后就可以执行了。 阅读全文
摘要:
喜欢我的博客可以加关注,有问题可以提问我。 1.基本使用(下面的html由于过长就不复制了都复用第一个) 2.选择元素 3.获取名称 4.获取属性 5.获取内容 6.嵌套选择 7.子节点和子孙节点 8.父节点和祖先节点 9.兄弟节点 10.标准选择器 10.1加参数 10.2text 10.3 fi 阅读全文
摘要:
喜欢我的博客可以加关注,有问题可以提问我。 首先,我们来看看基本的正则表达式有哪些: 1.最常规的匹配(匹配所有的字符) 2.范匹配 3.匹配目标 4.贪婪匹配 5.非贪婪匹配 6.匹配模式 7.转义 8.re.search 阅读全文
摘要:
1.基本写法 2.带参数GET请求 3.解析JSON 4.获取二进制数据(这里以获取图片的二进制数据为例) 5.添加headers 6.基本POST请求 7.状态码判断 8.文件上传 9.获取Cookie 10.会话维持 11.证书验证 12.认证设置 13.超时设置 14.异常处理 希望对大家能有 阅读全文
摘要:
1.url.request(get) 2.url.request (post) 3.url.request(超时正确) 4.url.request(超时错误) 5.状态头,响应码 6.Request 6.1.参数的使用 6.2.追加的方法 handler 7. 代理 8.Cookie 8.1.Coo 阅读全文