09 2020 档案
摘要:scrapy框架 -- 什么是框架 - 集成了很多功能的,并且具有很强通用性的一个项目模板. -- 如何学习框架 - 专门学习框架封装各种功能的详细用法. -- 什么是scrapy? - 爬虫中封装好的一个明星框架.功能: 高性能的持久化操作,异步的数据下载,高性能的数据解析,分布式 scrapy框
阅读全文
摘要:高性能异步爬虫 目的:在爬虫中使用异步实现高性能的数据爬取操作. 异步爬虫的方式: - 多进程 多线程(不建议) 好处:可以为相关阻塞的操作单独开启进程或者线程,阻塞操作就可以异步执行 弊端:无法无限制的开启多线程,多进程 - 线程池&进程池(适当使用) 好处: 可以降低系统对进程或者线程创建和销毁
阅读全文
摘要:冒泡排序 nums = [6, 5, 3, 1, 8, 7, 2, 4] j = 0 while j < len(nums) - 1: flag = True i = 0 while i < len(nums) - 1 - j: if nums[i] > nums[i + 1]: flag = Fa
阅读全文
摘要:''' 快捷键 双击 shift 弹出全局搜索 ctrl+alt+l 快速格式化代码 快速复制 ctrl + d 移动一行代码 ctrl shift 上下箭头 home end 光标到第一个 和 最后一个 '''
阅读全文

浙公网安备 33010602011771号