2019年12月26日
财经数据（3）-Pandas加载csv文件
摘要： 数据来源：问财 请求问句：所属同花顺行业，所属概念 下载文件，利用Pandas读取，解析，存储 # -*- coding: utf-8 -*- import pandas as pd import time from sqlalchemy import create_engine # 股票所属概念、 阅读全文
posted @ 2019-12-26 18:15 麦小秋 阅读(377) 评论(0) 推荐(0) 编辑
财经数据（2）-聚宽数据
摘要： 1、目标：利用JoinQuant获取竞价数据并实现Mysql存储 参考文献：https://www.joinquant.com/help/api/help?name=JQData#%E6%95%B0%E6%8D%AE%E8%B0%83%E7%94%A8%E6%96%B9%E6%B3%95 Tusha 阅读全文
posted @ 2019-12-26 01:56 麦小秋 阅读(617) 评论(0) 推荐(0) 编辑
2019年12月20日
财经数据（1）-开盘啦营业部标签及龙虎榜数据爬虫
摘要： 目标：爬取开盘啦特色营业部标签数据及每日龙虎榜数据 上代码： # -*- coding: utf-8 -*- import requests import json import pandas as pd from sqlalchemy import create_engine import tim 阅读全文
posted @ 2019-12-20 12:43 麦小秋 阅读(1806) 评论(0) 推荐(0) 编辑
2019年12月19日
mysql基础（1）-常用操作
摘要： 1.常见术语 数据库: 数据库是一些关联表的集合。. 数据表: 表是数据的矩阵。在一个数据库中的表看起来像一个简单的电子表格。 列: 一列(数据元素) 包含了相同的数据, 例如邮政编码的数据。 行：一行（=元组，或记录）是一组相关的数据，例如一条用户订阅的数据。 冗余：存储两倍数据，冗余可以使系统速 阅读全文
posted @ 2019-12-19 17:31 麦小秋 阅读(260) 评论(0) 推荐(0) 编辑
2019年12月18日
数据特征分析（5）-正太性检验
摘要： 1.正太性检验 利用观测数据判断总体是否服从正态分布的检验称为正态性检验，它是统计判决中重要的一种特殊的拟合优度假设检验。 直方图初判 / QQ图判断 / K-S检验 2.直方图 # 直方图初判 s = pd.DataFrame(np.random.randn(1000)+10,columns = 阅读全文
posted @ 2019-12-18 00:33 麦小秋 阅读(711) 评论(0) 推荐(0) 编辑
数据特征分析（5）-帕累托分析
摘要： 1.帕累托分析 即：贡献度分析 → 帕累托法则：20/80定律 “原因和结果、投入和产出、努力和报酬之间本来存在着无法解释的不平衡。一般来说，投入和努力可以分为两种不同的类型：多数，它们只能造成少许的影响；少数，它们造成主要的、重大的影响。” 一个公司，80%利润来自于20%的畅销产品，而其他80% 阅读全文
posted @ 2019-12-18 00:32 麦小秋 阅读(377) 评论(0) 推荐(0) 编辑
数据特征分析（3）-统计分析
摘要： 1.统计分析 统计指标对定量数据进行统计描述，常从集中趋势和离中趋势两个方面进行分析 集中趋势度量 / 离中趋势度量 2.集中趋势度量 # 1、集中趋势度量 # 指一组数据向某一中心靠拢的倾向，核心在于寻找数据的代表值或中心值 —— 统计平均数 # 算数平均数、位置平均数 # （1）算数平均数 da 阅读全文
posted @ 2019-12-18 00:25 麦小秋 阅读(384) 评论(0) 推荐(0) 编辑
数据特征分析（2）-对比分析
摘要： 1.对比分析 两个互相联系的指标进行比较 绝对数比较（相减） / 相对数比较（相除）结构分析、比例分析、空间比较分析、动态对比分析 2.绝对数比较 # 1、绝对数比较 → 相减 # 相互对比的指标在量级上不能差别过大 # （1）折线图比较 # （2）多系列柱状图比较 data = pd.DataFr 阅读全文
posted @ 2019-12-18 00:17 麦小秋 阅读(401) 评论(0) 推荐(0) 编辑
2019年12月17日
数据特征分析（1）-分布分析
摘要： 1.分布分析 研究数据的分布特征和分布类型，分定量数据、定性数据区分基本统计量 极差 / 频率分布情况 / 分组组距及组数 2.数据准备 # 数据读取 data = pd.read_csv('C:/Users/Hjx/Desktop/深圳罗湖二手房信息.csv',engine = 'python') 阅读全文
posted @ 2019-12-17 01:08 麦小秋 阅读(615) 评论(0) 推荐(0) 编辑
2019年12月16日
数据建模（1）-数据预处理
摘要： 1.缺失值处理 1）概念 数据缺失主要包括记录缺失和字段信息缺失等情况，其对数据分析会有较大影响，导致结果不确定性更加显著 2）处理方法 缺失值的处理：删除记录 / 数据插补 / 不处理 3）缺失值分析及处理 A：缺失值判断 # 判断是否有缺失值数据 - isnull，notnull # isnul 阅读全文
posted @ 2019-12-16 17:02 麦小秋 阅读(1161) 评论(0) 推荐(0) 编辑