上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 18 下一页
摘要: 5.队列的应用案例-烫手的山芋 烫手山芋游戏介绍:6个孩子围城一个圈,排列顺序孩子们自己指定。第一个孩子手里有一个烫手的山芋,需要在计时器计时1秒后将山芋传递给下一个孩子,依次类推。规则是,在计时器每计时7秒时,手里有山芋的孩子退出游戏。该游戏直到剩下一个孩子时结束,最后剩下的孩子获胜。请使用队列实 阅读全文
posted @ 2020-01-12 16:25 xiongsheng 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 4.基本数据结构-队列 一.队列 - 概念:队列是项的有序结合,其中添加新项的一端称为队尾,移除项的一端称为队首。当一个元素从队尾进入队列时,一直向队首移动,直到它成为下一个需要移除的元素为止。最近添加的元素必须在队尾等待。集合中存活时间最长的元素在队首,这种排序成为 FIFO,先进先出,也被成为先 阅读全文
posted @ 2020-01-12 16:14 xiongsheng 阅读(86) 评论(0) 推荐(0) 编辑
摘要: 3.基本数据结构-栈 一.线性数据结构 - 我们从四个简单但重要的概念开始研究数据结构。栈,队列,deques(双向队列), 列表是一类数据的容器,它们数据元素之间的顺序由添加或删除的顺序决定。一旦一个数据元素被添加,它相对于前后元素一直保持该位置不变。诸如此类的数据结构被称为线性数据结构。 - 线 阅读全文
posted @ 2020-01-12 16:12 xiongsheng 阅读(150) 评论(0) 推荐(0) 编辑
摘要: 2.python数据结构的性能分析 一.引言 - 现在大家对 大O 算法和不同函数之间的差异有了了解。本节的目标是告诉你 Python 列表和字典操作的 大O 性能。然后我们将做一些基于时间的实验来说明每个数据结构的花销和使用这些数据结构的好处。重要的是了解这些数据结构的效率,因为它们是本博客实现其 阅读全文
posted @ 2020-01-12 16:11 xiongsheng 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 1.数据结构&算法的引言+时间复杂度 一.什么是计算机科学? 首先明确的一点就是计算机科学不仅仅是对计算机的研究,虽然计算机在科学发展的过程中发挥了重大的作用,但是它只是一个工具,一个没有灵魂的工具而已。所谓的计算机科学实际上是对问题、解决问题以及解决问题的过程中产生产生的解决方案的研究。例如给定一 阅读全文
posted @ 2020-01-12 16:09 xiongsheng 阅读(145) 评论(0) 推荐(0) 编辑
摘要: xpath表达式中可以使用管道符是的xpath表达式更加具有通用性 xpath('./div/p//text() | ./span/a/div//text()') strip('/ \n\t') scrapy如何爬取图片数据(ImagePileLine) - 爬虫文件中将二进制资源的url进行爬取和 阅读全文
posted @ 2020-01-11 16:07 xiongsheng 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 爬虫学习 高性能异步爬虫 引入 很多同学对于异步这个概念只是停留在了“听说很NB”的认知层面上,很少有人能够在项目中真正的使用异步实现高性能的相关操作。本节课,咱们就一起来学习一下,爬虫中如何使用异步实现高性能的数据爬取操作。 背景 其实爬虫的本质就是client发请求批量获取server的响应数据 阅读全文
posted @ 2020-01-11 08:56 xiongsheng 阅读(114) 评论(0) 推荐(0) 编辑
摘要: 一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse,在Python2中是urllib和urllib2。 二.由易到难的爬虫程序: 1.爬取百 阅读全文
posted @ 2020-01-11 08:54 xiongsheng 阅读(130) 评论(0) 推荐(0) 编辑
摘要: 引言: 当我们在浏览相关网页的时候会发现,某些网站定时会在原有网页数据的基础上更新一批数据,例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么,类似的情景,当我们在爬虫的过程中遇到时,我们是不是需要定时更新程序以便能爬取到网站中最近更新的数据呢? 阅读全文
posted @ 2020-01-10 21:23 xiongsheng 阅读(121) 评论(0) 推荐(0) 编辑
摘要: redis分布式部署 1.scrapy框架是否可以自己实现分布式? - 不可以。原因有二。 其一:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start_urls列表中的url。(多台机器无法共享同一个调度器) 其二:多台机器爬取到的数据无法通过同一个管道对数据 阅读全文
posted @ 2020-01-10 21:21 xiongsheng 阅读(99) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 18 下一页