摘要: 主类: from Dao.Requests_dao import Rqst from Dao.Csv_dao import Csv def paqu(x): print('爬取:知乎“英文取名”:') url='https://www.zhihu.com/topic/19561718/top-ans 阅读全文
posted @ 2019-12-21 17:06 天气晴21℃ 阅读(310) 评论(0) 推荐(0) 编辑
摘要: 爬取动态界面 阅读全文
posted @ 2019-12-06 16:32 天气晴21℃ 阅读(2792) 评论(0) 推荐(0) 编辑
摘要: 很简单: 存数据: 1、加载sqlite3驱动(只需一行代码) 2、用驱动执行查询语句(只需一行代码) 取数据: 1、加载sqlite3驱动(只需一行代码) 2、用驱动执行查询语句(只需一行代码) 乍一看,sqlite存取数据方式似乎都一样,实际上,就是一样,废话不多说 上例子: 1、存以下内容: 阅读全文
posted @ 2019-11-30 17:48 天气晴21℃ 阅读(1172) 评论(0) 推荐(0) 编辑
摘要: 先看运行结果: 代码详细解析: import io import sys sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='ISO-8859-1') 这三行代码即将控制台输出的编码格式设置为ISO-8859-1,对于不同网页,可在源码 阅读全文
posted @ 2019-11-22 19:36 天气晴21℃ 阅读(123) 评论(0) 推荐(0) 编辑
摘要: find_all()简单说明: find_all() find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件 用法一: rs=soup.find_all('a') 将返回soup中所有的超链接内容 类似的还有rs.find_all('span')、rs.find_al 阅读全文
posted @ 2019-11-15 21:13 天气晴21℃ 阅读(3212) 评论(0) 推荐(0) 编辑
摘要: 在大数据、人工智能时代,我们通常需要从网站中收集我们所需的数据,网络信息的爬取技术已经成为多个行业所需的技能之一。而Python则是目前数据科学项目中最常用的编程语言之一。使用Python与BeautifulSoup可以很容易的进行网页爬取,通过网站爬虫获取信息可以帮助企业或个人节省很多的时间和金钱 阅读全文
posted @ 2019-11-08 18:09 天气晴21℃ 阅读(1133) 评论(1) 推荐(0) 编辑
摘要: 使用open函数可以打开文件并返回一个文件对象,返回的文件对象用来读取和写入文件内容。那么,如何使用文件对象来读取文件内容呢?如何让读取的文件内容初始化一个Python列表呢? 文本文件和二进制文件 使用文件对象读取文件内容时,要根据文件的不同存储类型选择不同的读取方式。一般来说,文件的存储类型主要 阅读全文
posted @ 2019-11-01 22:44 天气晴21℃ 阅读(133) 评论(1) 推荐(0) 编辑
摘要: 伪代码: 全部代码: 运行结果: 阅读全文
posted @ 2019-10-25 16:48 天气晴21℃ 阅读(154) 评论(0) 推荐(0) 编辑
摘要: 字符串是编程时涉及到的最多的一种数据结构,对字符串进行操作的需求几乎无处不在。比如判断一个字符串是否是合法的Email地址,虽然可以编程提取@前后的子串,再分别判断是否是单词和域名,但这样做不但麻烦,而且代码难以复用。 正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来 阅读全文
posted @ 2019-10-18 08:10 天气晴21℃ 阅读(205) 评论(1) 推荐(0) 编辑
摘要: 目的网站:http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html requests用于得到目的网站源代码 bs4用于解析request得到的源码 向目的网站发送请求,并将请求结果保存到对象 r ,将 r 的编码指定为utf-8,然后开始解析源码, 阅读全文
posted @ 2019-10-08 15:46 天气晴21℃ 阅读(126) 评论(0) 推荐(1) 编辑