吉阿吉

2021年7月26日

python内存管理

摘要: ython 中一切皆对象,那么 Python 解释器(CPython)是如何管理这些内存中的对象呢?为了找到答案,自己下载了Python 源码,参照源码注释学习了 pymalloc — Python object allocator的实现。现在这里做个总结。 pymalloc 的实现位于 Pytho 阅读全文

posted @ 2021-07-26 00:40 吉阿吉 阅读(280) 评论(0) 推荐(0) 编辑

2021年7月25日

python单例模式

摘要: 单例模式 单例模式(Singleton Pattern)是一种常用的软件设计模式,该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中,某个类只能出现一个实例时,单例对象就能派上用场。 比如,某个服务器程序的配置信息存放在一个文件中,客户端通过一个 AppConfig 的类来读取配置 阅读全文

posted @ 2021-07-25 22:14 吉阿吉 阅读(54) 评论(0) 推荐(0) 编辑

python列表去重

摘要: 1 #列表去重 2 L = [1,2,3,4,5,6,6,5,4,3,2,1] 3 4 #第一种方法,利用字典的fromkeys()和keys()方法 5 #创建一个空字典 6 d = {} 7 8 #用字典的fromkeys()方法去重,得到一个字典,去重之后的元素为键,值为None的字典 9 # 阅读全文

posted @ 2021-07-25 22:10 吉阿吉 阅读(57) 评论(0) 推荐(0) 编辑

python全局解释器锁

摘要: 计算密集型任务(CPU-bound) 的特点是要进行大量的计算,占据着主要的任务,消耗CPU资源,一直处于满负荷状态。比如复杂的加减乘除、计算圆周率、对视频进行高清解码等等,全靠CPU的运算能力。这种计算密集型任务虽然也可以用多任务完成,但是任务越多,花在任务切换的时间就越多,CPU执行任务的效率就 阅读全文

posted @ 2021-07-25 06:08 吉阿吉 阅读(286) 评论(0) 推荐(0) 编辑

2021年6月4日

python文件读read()、readline()、readlines()对比

摘要: 读取文件的三个方法:read()、readline()、readlines()。均可接受一个变量用以限制每次读取的数据量,但通常不使用。 一、read方法 特点是:读取整个文件,将文件内容放到一个字符串变量中。 劣势是:如果文件非常大,尤其是大于内存时,无法使用read()方法。 read()直接读 阅读全文

posted @ 2021-06-04 22:02 吉阿吉 阅读(228) 评论(0) 推荐(0) 编辑

2021年5月16日

增量式爬虫案例

摘要: 一、增量式爬虫:检测网站数据更新情况,只爬取网站最近更新出来的数据。 核心思路:将爬取过的详情url存储到redis的set集合。 爬虫文件: # -- coding: utf-8 -- import scrapy from scrapy.linkextractors import LinkExtr 阅读全文

posted @ 2021-05-16 17:58 吉阿吉 阅读(107) 评论(0) 推荐(0) 编辑

全站数据爬虫CrawlSpider类

摘要: 一、目标网址 http://wz.sun0769.com/political/index/politicsNewest 二、scrapy创建项目 scrapy startproject SunPro cd SunPro scrapy genspider -t crawl sun www.xxx.co 阅读全文

posted @ 2021-05-16 08:14 吉阿吉 阅读(52) 评论(0) 推荐(0) 编辑

网易新闻爬虫

摘要: 一、通过网易新闻首页解析出各板块对应的url 阅读全文

posted @ 2021-05-16 06:28 吉阿吉 阅读(87) 评论(0) 推荐(0) 编辑

python垃圾回收机制

摘要: 我们知道,目前的计算机都采用的是图灵机架构,其本质就是用一条无限长的纸带,对应今天的存储器。随后在工程学的推演中,逐渐出现了寄存器、易失性存储器(内存)以及永久性存储器(硬盘)等产品。由于不同的存储器,其速度越快,单位价格也就越昂贵,因此,妥善利用好每一寸告诉存储器的空间,永远是系统设计的一个核心。 阅读全文

posted @ 2021-05-16 02:57 吉阿吉 阅读(45) 评论(0) 推荐(0) 编辑

2021年5月11日

线程进程协程

摘要: 一、线程是执行单位,进程是资源单位 阅读全文

posted @ 2021-05-11 22:12 吉阿吉 阅读(36) 评论(0) 推荐(0) 编辑

导航