09 2020 档案

摘要:scrapy框架 -- 什么是框架 - 集成了很多功能的,并且具有很强通用性的一个项目模板. -- 如何学习框架 - 专门学习框架封装各种功能的详细用法. -- 什么是scrapy? - 爬虫中封装好的一个明星框架.功能: 高性能的持久化操作,异步的数据下载,高性能的数据解析,分布式 scrapy框 阅读全文
posted @ 2020-09-28 16:41 李淳罡zZ 阅读(110) 评论(0) 推荐(0)
摘要:高性能异步爬虫 目的:在爬虫中使用异步实现高性能的数据爬取操作. 异步爬虫的方式: - 多进程 多线程(不建议) 好处:可以为相关阻塞的操作单独开启进程或者线程,阻塞操作就可以异步执行 弊端:无法无限制的开启多线程,多进程 - 线程池&进程池(适当使用) 好处: 可以降低系统对进程或者线程创建和销毁 阅读全文
posted @ 2020-09-22 22:11 李淳罡zZ 阅读(133) 评论(0) 推荐(0)
摘要:冒泡排序 nums = [6, 5, 3, 1, 8, 7, 2, 4] j = 0 while j < len(nums) - 1: flag = True i = 0 while i < len(nums) - 1 - j: if nums[i] > nums[i + 1]: flag = Fa 阅读全文
posted @ 2020-09-04 16:20 李淳罡zZ 阅读(138) 评论(0) 推荐(0)
摘要:''' 快捷键 双击 shift 弹出全局搜索 ctrl+alt+l 快速格式化代码 快速复制 ctrl + d 移动一行代码 ctrl shift 上下箭头 home end 光标到第一个 和 最后一个 ''' 阅读全文
posted @ 2020-09-02 23:32 李淳罡zZ 阅读(123) 评论(0) 推荐(0)