摘要：
需求： 导入文件，查看原始数据 将人口数据和各州简称数据进行合并 将合并的数据中重复的abbreviation列进行删除 查看存在缺失数据的列 找到有哪些state/region使得state的值为NaN，进行去重操作 为找到的这些state/region的state项补上正确的值，从而去除掉sta 阅读全文
摘要：
Matplotlib基础知识 一、Matplotlib基础知识 + Matplotlib中的基本图表包括的元素 + x轴和y轴 axis 水平和垂直的轴线 + x轴和y轴刻度 tick 刻度标示坐标轴的分隔，包括最小刻度和最大刻度 + x轴和y轴刻度标签 tick label 表示特定坐标轴的值 + 阅读全文
摘要：
数据分析 生成器 迭代器 装饰器 (两层传参) 单例模式() ios七层 io多路 数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律 pandas的拼接操作 + pandas的拼接分为两种： + 级联：pd.concat, pd.append + 合并：pd. 阅读全文
摘要：
处理丢失数据 有两种丢失数据： 1. None None是Python自带的，其类型为python object。因此，None不能参与到任何计算中。 2. np.nan（NaN） np.nan是浮点类型，能参与到计算中。但计算的结果总是NaN。 3. pandas中的None与NaN 1) pan 阅读全文
摘要：
数据分析三剑客： Numpy, Pandas, Matplotlib NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 一、 使用np.array()创建 一维数据创建 二维数组创建 注意： 阅读全文
摘要：
Pandas的数据结构 导入pandas： 三剑客 1、Series Series是一种类似与一维数组的对象，由下面两个部分组成： values：一组数据（ndarray类型） index：相关的数据索引标签 1）Series的创建 两种创建方式： (1) 由列表或numpy数组创建 默认索引为 阅读全文
摘要：
tushare 使用 python开源金融接口包: tushare.org/trading.html d2 安装: pip install tushare 修改数据中的 date 时间 值 为时间序列 根据时间序列查找数据 数据偏移 df['close'].shift(1) python down_ 阅读全文
摘要：
总结: 中间件：下载中间件（拦截请求和响应） process_request： prceess_response： process_exception： 请求： - UA伪装： - process_request进行操作：request.headers['User-Agent'] = 'xxx' - 阅读全文
摘要：
增量式: 用来检测网站中数据的更新情况 对于文本内容 使用 阅读全文
摘要：
分布式 爬虫 + scrapy redis 实现 + 原生scrapy 无法实现 分布式 + 调度器和管道无法被分布式机群共享 1. 环境安装 pip install scrapy_redis 2. 导包：from scrapy_redis.spiders import RedisCrawlSpid 阅读全文