摘要: 如何为创建大量实例节省内存: 定义类的__slots__ 它声明实例属性名字的列表,减少内存开销 #定义两个类: 查看占用内存大小 class player1(): def __init__(self,uid,name,status=0,level=1): self.uid = uid self.n 阅读全文
posted @ 2022-07-20 22:58 huxl1 阅读(24) 评论(0) 推荐(0) 编辑
摘要: 如何读写csv文件 可以使用标准库中的csv模块,完成csv 文件读写 from urllib import urlretrieve urlretrieve('http://table.finance.yahoo.com/table.csv?s=000001.sz','pinan.csv') #请求 阅读全文
posted @ 2022-07-18 21:38 huxl1 阅读(24) 评论(0) 推荐(0) 编辑
摘要: 在python2 与python3中对文本的读写有很大的差异 1 字符串的语义发生了变化 在python2 中 unicode字符串存入到文件中需要先进行编码 如 s = u'你好' 存储需要编码 s.encode('utf8') , 编码之后才能存道文件中 之后读取时采用decode('utf8' 阅读全文
posted @ 2022-07-13 22:30 huxl1 阅读(42) 评论(0) 推荐(0) 编辑
摘要: 拆分含有多种分隔符 的字符串 单一分割符:split( ) 进行分割 #字符串中多个分隔符分割 #方法一 通过循环,用split方法分割 def mysplit(s,dt): # s是字符串, dt分割符 res = [s] for d in dt: t = [] #map(lambda x: t. 阅读全文
posted @ 2022-07-12 22:42 huxl1 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 可迭代对象: 列表,字典,元组等等 , 可迭代对象都满足__iter__() 这个方法 iter(): 有可迭代对象可以得到迭代器对象 , 迭代器满足 .next() 1 实现一个迭代器对象: # 迭代器,next方法每次返回一个城市气温 import requests from collectio 阅读全文
posted @ 2022-07-11 22:59 huxl1 阅读(18) 评论(0) 推荐(0) 编辑
摘要: 背景介绍 hadoop: 开源项目,是一个分布式文件系统,有中心节点。批处理系统,不能实时返回 HDFS + mapreduce = hadoop Hbase : hadoop的database HDFS : 是有中心节点的, 组件:DN(datanode 数据节点) NN(namenode 负责元 阅读全文
posted @ 2022-07-09 13:10 huxl1 阅读(26) 评论(0) 推荐(0) 编辑
摘要: 如何在列表,字典,集合中根据条件筛选数据 方式一: 通过for循环迭代每个元素进行筛选 方法二: 通过匿名函数filter方法, 列表解析方式进行迭代 #生成一各随机列表 from random import randint data = [randint(-10,10) for i in rang 阅读全文
posted @ 2022-07-06 21:49 huxl1 阅读(28) 评论(0) 推荐(0) 编辑
摘要: ceph有两类daemon组成: ceph-monitor OSD RADOS : 可靠的独立自主的,分布式对象存储,是ceph存储集群的基石 功能: 存储数据,维护数据的一致性,可靠性 执行策略:数据复制,故障检测和恢复,一级跨集群节点的数据迁移和重平衡等 OSD : 存储数据 功能: 1 数据存 阅读全文
posted @ 2022-07-05 11:06 huxl1 阅读(162) 评论(0) 推荐(0) 编辑
摘要: ceph 可以向物理机和虚拟机提供存储。 通过部署ceph-client 客户端在物理机上, 物理机通过客户端去使用ceph存储的块资源 ceph是一个统一存储,可以提供对象存储, 块, 文件的存储功能 创建一个块设备: 1 安装客户端 ceph-deploy install ceph-client 阅读全文
posted @ 2022-07-04 14:25 huxl1 阅读(62) 评论(0) 推荐(0) 编辑
摘要: ceph 是一个分布式存储的解决方案,提供一个分布式,可扩展,高性能,不存在单点故障的存储系统 目标: 1轻松扩展到PB级别 2 高性能 3 高可用 用途: 1 作为云存储解决方案 2 作为同意存储解决方案包含块存储,对象存储 安装部署: 1 手动编译 安装依赖 下载源码包 手动编译ceph.con 阅读全文
posted @ 2022-07-02 16:01 huxl1 阅读(95) 评论(0) 推荐(0) 编辑