上一页 1 ··· 12 13 14 15 16 17 18 19 20 ··· 28 下一页
摘要: (1)和lxml一样,Beautifu Soup也是一个HTML/XML的解析器,主要的功能也是如何解析和提取HTML/XML数据。 (2)lxml只会局部遍历,而Beautiful Soup是基于HTML DOM的,会载入整个文档,解析整个DOM树,因此时间和内存开销都会大很多,所以性能要低于lx 阅读全文
posted @ 2020-05-10 13:49 Norni 阅读(206) 评论(0) 推荐(0) 编辑
摘要: 1、Queue(队列对象) Queue是python中的标准库,可以直接impot Queue引用。 队列是线程间最常用的交换数据的形式。 1.1 初始化 class Queue.Queue(maxsize) #FIFO 先进先出 1.2 包中的常用方法 Queue.qsize() 返回队列的大小 阅读全文
posted @ 2020-05-10 00:12 Norni 阅读(106) 评论(0) 推荐(0) 编辑
摘要: 声明:无意滋生事端,仅学习分享,如有侵权,将立即删除。 说明:糗事百科段子的爬取,采用了队列和多线程的方式,其中关键点是Queue.task_done()、Queue.join(),保证了线程的有序进行。 <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< 阅读全文
posted @ 2020-05-10 00:11 Norni 阅读(464) 评论(0) 推荐(0) 编辑
摘要: JSON(JavaScript Object Notaion)是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成,适用于进行数据交互的场景。 官方文档:https://docs.python.org/3/library/json.html 1、JSON js 阅读全文
posted @ 2020-05-09 21:35 Norni 阅读(466) 评论(0) 推荐(0) 编辑
摘要: 1、XML语言 (1)XML指可扩展标记语言(EXtensible Markup Language) (2)XML是一中标记语言,类似于HTML (3)XML的设计宗旨是传输数据,而非显示数据 (4)XML的标签需要我们自行定义 (5)XML被设计为具有自我描述性 (6)XML是W3C的推荐标准 官 阅读全文
posted @ 2020-05-09 19:35 Norni 阅读(128) 评论(0) 推荐(0) 编辑
摘要: 1、简介 Fiddler是一款强大Web调试工具,它能记录所有客户端和服务器的HTTP请求。 Fiddler启动的时候,默认IE的代理设为了127.0.0.1:8888,而其他浏览器需要手动设置。 2、下载和安装 2.1 下载 https://www.telerik.com/fiddler 2.2 阅读全文
posted @ 2020-05-09 17:16 Norni 阅读(312) 评论(0) 推荐(0) 编辑
摘要: 1、基本使用 所谓网页抓取,就是把url地址中指定的网络资源从网络流中读取出来,保存到本地。 2、urlopen urlopen的参数是一个url地址时 # 导入urllib.rquest库 from urllib import request # 向指定的url发送请求,并返回服务器响应的类文件对 阅读全文
posted @ 2020-05-09 16:50 Norni 阅读(407) 评论(0) 推荐(0) 编辑
摘要: 1、Requests的目的:让HTTP服务人类 python的标准库中urllib模块包含了平常我们使用的大多数功能,但是它的API使用起来让人感觉不太好,而Requests自称"HTTP for Humans",让使用更简洁方便。 Requests 继承了urllib的所有特性。Requests支 阅读全文
posted @ 2020-05-09 00:03 Norni 阅读(129) 评论(0) 推荐(0) 编辑
摘要: `HTTP协议`(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收HTML页面的方法。 `HTTPS协议`(HyperText Transfer Protocol over Secure Socket Layer),是HTTP协议的安全版,在HTTP下加入了 阅读全文
posted @ 2020-05-08 21:26 Norni 阅读(770) 评论(0) 推荐(0) 编辑
摘要: 1、Mongodb的介绍 NoSQL,non-relational sql,非关系型数据库 2、Mongodb的安装和启动 2.1 安装 `sudo apt-get install -y mongodb-org` 2.2 启动 服务器端 查看帮助:`mongdb --help` 服务启动:`sudo 阅读全文
posted @ 2020-05-07 21:36 Norni 阅读(195) 评论(0) 推荐(0) 编辑
上一页 1 ··· 12 13 14 15 16 17 18 19 20 ··· 28 下一页