上一页 1 ··· 54 55 56 57 58 59 60 61 62 ··· 79 下一页

pandas 筛选

摘要: t={ "age": [18, 30, np.nan, 40, np.nan, 30], "city": ["BeiJing", "ShangHai", "GuangZhou", "ShenZhen", 'BeiJing', "ShangHai"], "sex": [None, "male", "f 阅读全文
posted @ 2019-12-22 18:58 我和你并没有不同 阅读(819) 评论(0) 推荐(0) 编辑

pandas IO

摘要: pd.read_csv("../data/user_info.csv", index_col="name") #假设csv里包含这几列: name, age, birth, sex data="name,age,birth,sex\nTom,18.0,2000-02-10,\nBob,30.0,1988-10-17,male" print(data) pd.read_csv(StringIO(da 阅读全文
posted @ 2019-12-22 18:15 我和你并没有不同 阅读(515) 评论(0) 推荐(0) 编辑

服务端高并发分布式架构演进之路 转载,原文地址:https://segmentfault.com/a/1190000018626163

摘要: 1. 概述 本文以淘宝作为例子,介绍从一百个到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。 2. 基本概念 在介绍架构之前,为了避免部分读者对架构设计中的一些概念不了解,下面对几个最基础的概念进 阅读全文
posted @ 2019-12-22 17:14 我和你并没有不同 阅读(478) 评论(0) 推荐(0) 编辑

pandas 6 时间

摘要: 类备注创建方法 Timestamp 时刻数据 to_datetime,Timestamp DatetimeIndex Timestamp的索引 to_datetime,date_range,DatetimeIndex Period 时期数据 Period PeriodIndex Period period_range,PeriodIndex print(pd.Time... 阅读全文
posted @ 2019-12-21 18:27 我和你并没有不同 阅读(227) 评论(0) 推荐(0) 编辑

pandas 常用方法使用示例

摘要: 将 dataframe 列中的 json 拆分为多个列 import json df = DataFrame([{'S_DATA':'{"age":11,"score":12}'}]) df['S_DATA'] = df['S_DATA'].apply(lambda x: json.loads(x) 阅读全文
posted @ 2019-12-21 18:24 我和你并没有不同 阅读(742) 评论(0) 推荐(0) 编辑

pandas 5 str 参考:https://mp.weixin.qq.com/s/Pwz9iwmQ_YQxUgWTVje9DQ

摘要: str的常用方法 阅读全文
posted @ 2019-12-21 18:19 我和你并没有不同 阅读(286) 评论(0) 推荐(0) 编辑

比较工具

摘要: WinMerge是一款运行于Windows系统下的文件比较和合并工具 Diffuse在命令行中的速度是相当快的,支持两相比较和三相比较 Beyond Compare AptDiff是一个文件比较工具,可以对文本和二进制文件进行比较和合并,适用于软件开发、网络设计和其它的专业领域。 Code Comp 阅读全文
posted @ 2019-12-20 10:27 我和你并没有不同 阅读(170) 评论(0) 推荐(0) 编辑

当小内存遇上大量数据,你该怎么解决这个问题?

摘要: 原文链接:https://pythonspeed.com/articles/data-doesnt-fit-in-memory 压缩:能用1个位的,就不要用一个字节分块:将一个文件分块读入内存,分块处理。如文件中记录了各种动物的信息,现在要查找熊猫的信息,则要逐块读入文件内容,判断熊猫的信息是否在此 阅读全文
posted @ 2019-12-18 20:13 我和你并没有不同 阅读(262) 评论(0) 推荐(0) 编辑

python高性能编程 读书笔记

摘要: GIL 确保 Python 进程一次只能执行一条指令 分析工具cProfile 分析函数耗时 ncalls:表示函数调用的次数;tottime:表示指定函数的总的运行时间,除掉函数中调用子函数的运行时间;percall:(第一个percall)等于 tottime/ncalls;cumtime:表示 阅读全文
posted @ 2019-11-23 20:44 我和你并没有不同 阅读(290) 评论(0) 推荐(0) 编辑

数据一致 分库分表

摘要: web和db放在不同的服务器一主多从,读写分离一主一从,一从又有多从,读写分离分库分表(如:按业务分库,按字段取值范围分表/取模分表) SQL优化1 分批处理int pageNo = 1;int PAGE_SIZE = 100;while(true) { List<Integer> batchIdL 阅读全文
posted @ 2019-11-17 10:22 我和你并没有不同 阅读(225) 评论(0) 推荐(0) 编辑
上一页 1 ··· 54 55 56 57 58 59 60 61 62 ··· 79 下一页