上一页 1 ··· 21 22 23 24 25 26 27 28 29 ··· 37 下一页
摘要: 奇葩的事件 bs4中的select方法css选择器在我的环境中失效;我需要学习下调试,或者是溯源工作,为什么报错 是我的问题,还是bs4在python3.6.7环境下有漏洞 from bs4 import BeautifulSoup html = ''' <div> <ul> <li class=" 阅读全文
posted @ 2021-09-05 19:28 索匣 阅读(994) 评论(2) 推荐(0) 编辑
摘要: lxml是一个Python的一个解析库,用于解析HTML和XML,支持Xpaxth解析。由于lxml底层是使用C语言编写的,所以解析效率非常高。 一.安装lxml 主要是介绍windows下的安装 1.使用pip安装 pip install lxml 如果安装出错,表明缺少依赖库,如libxm12。 阅读全文
posted @ 2021-09-05 15:53 索匣 阅读(479) 评论(0) 推荐(0) 编辑
摘要: 编写爬虫的第一步就是抓取资源,抓取web资源后,通常需要对抓取的Web资源进行分析,这就是编写爬虫的第二步。这里的Web资源主要指的是HTML代码,python语言内置的正则表达式可以对任意字符串进行搜索、分组等复杂操作。 一。什么是正则表达式:python语言通过标准库的re模块支持正则表达式 二 阅读全文
posted @ 2021-09-05 14:05 索匣 阅读(59) 评论(3) 推荐(0) 编辑
摘要: 1.异步编程模型 2.反应堆模式 3.Twisted框架的基本使用方法 4.使用Twisted框架实现时间戳客户端和服务器 一、目前常用的编程模型有3种:同步编程模型,线程编程模型和异步编程模型 同步编程模型:所有的任务都在一个线程种完成,线程中的任务都是顺序执行的,也就是说,只有当执行完第一个任务 阅读全文
posted @ 2021-09-05 12:49 索匣 阅读(288) 评论(0) 推荐(0) 编辑
摘要: 主要介绍以下内容 1.发送HTTP请求 2.设置HTTP请求头 3.抓取二进制数据 4.POST请求 5.响应数据 6.上传文件 7.处理Cookie 8.维持会话 9.SSL证书验证 10.使用代理 11.超时处理 12.身份验证 13.打包请求 一.发送HTTP请求 urllib库中的urlop 阅读全文
posted @ 2021-09-04 21:24 索匣 阅读(89) 评论(0) 推荐(0) 编辑
摘要: urllib中的API大都与URL相关,所有可以得出这样一个结论,urllib主要侧重于URL的请求构造。而urllib2侧重于HTTP请求的处理,urllib3则是服务于升级的HTTP1.1标准,且拥有高效的HTTP连接池管理及HTTP代理服务的功能库。 urllib3的主要特性是 1.线程安全 阅读全文
posted @ 2021-09-04 19:58 索匣 阅读(308) 评论(0) 推荐(0) 编辑
摘要: 一些常用的正则表达式 1.Email:'[0-9a-zA-Z]+@[0-9a-zA-Z]+.[a-zA-Z]{2,3}' 2.IP地址(IPV4):'\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3}' 3.Web地址:'https?:/{2}\w.+' 阅读全文
posted @ 2021-09-04 17:24 索匣 阅读(38) 评论(0) 推荐(0) 编辑
摘要: urllib是python内置的网络库 一.urllib的主要功能 urllib分为4个模块 1.request:最基本的HTTP请求模块,可以用来发送HTTP请求,并接收服务端的响应数据。这个过程就像在浏览器地址栏输入URL,然后按下Enter键一样 2.error:异常处理模块,如果出现请求错误 阅读全文
posted @ 2021-09-03 20:09 索匣 阅读(583) 评论(0) 推荐(0) 编辑
摘要: java内存分析: 堆:存放new的对象和数组 可以被所有的线程共享,不会存放别的对象引用 栈:存放基本变量类型(会包含这个基本类型的具体数值) 引用对象的变量(会存放这个引用在堆里面的具体地址) 方法区:可以被所有的线程共享 包含了所有的class和static变量 数组变量的声明,和创建数组可以 阅读全文
posted @ 2021-09-03 13:13 索匣 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 1.java中调用方法,方法名称肯定是只能写在main函数中的,方法定义在main函数外,所以,怎么调用方法(return的话调用要打印出来吧) 2,这就牵扯到静态动态方法调用了,静态不能调用动态;主函数是静态方法,可以使用文件名也就是这个类名来调用动态函数,也可以说是对象(因为非静态方法是属于对象 阅读全文
posted @ 2021-09-03 13:13 索匣 阅读(14) 评论(0) 推荐(0) 编辑
上一页 1 ··· 21 22 23 24 25 26 27 28 29 ··· 37 下一页