随笔分类 -  爬虫基础

摘要:异步网络模块之aiohttp的使用(一) 平时我们也许用的更多的是requests模块,或者是requests_hml模块,但是他们都属于阻塞类型的不支持异步,速度很难提高,于是后来出现了异步的grequests,开始了异步网络请求,速度得到了大大的提升,但是今天我们要说的另外的一个比较异步网络请求 阅读全文
posted @ 2018-06-30 22:31 公众号python学习开发 阅读(5648) 评论(0) 推荐(1) 编辑
摘要:1.文本存储 比如我们现在有10篇文章,每篇文章由三部分组成,题目,作者,内容(title,author,content),然后要求这三个部分明确展示出来,并且每篇文章之间用 分割。 大致思路: 针对每篇文章的三个部分,前两个部分归为一行,然后每篇文章之间用 分割。 代码实现 items表示那10篇 阅读全文
posted @ 2018-05-09 16:11 公众号python学习开发 阅读(772) 评论(0) 推荐(0) 编辑
摘要:1.cmd命令,到redis的安装目录输入以下命令 安装命令: redis-server.exe --service-install redis.windows.conf --loglevel verbose 卸载命令: redis-server --service-uninstall redis- 阅读全文
posted @ 2018-05-07 22:46 公众号python学习开发 阅读(434) 评论(0) 推荐(0) 编辑
摘要:【http之100-continue】 1、http 100-continue用于客户端在发送POST数据给服务器前,征询服务器情况,看服务器是否处理POST的数据,如果不处理,客户端则不上传POST数据,如果处理,则POST上传数据。在现实应用中,通过在POST大数据时,才会使用100-conti 阅读全文
posted @ 2017-12-13 10:50 公众号python学习开发 阅读(471) 评论(0) 推荐(0) 编辑
摘要:.net添加http报头 阅读全文
posted @ 2017-12-13 10:41 公众号python学习开发 阅读(571) 评论(0) 推荐(0) 编辑