摘要: 1、先上个图看下网页版数据、mysql结构化数据 2、分析思路: 该网页主要采用动态加载来实现的,通过刷新页面查看URL,最终发现想要的数据,在js链接当中,进行头文件分析,构造URL,完成数据获取 数据存储方式上,尝试了Python单条读写mysql、利用Pandas构造DataFrame存储,2 阅读全文
posted @ 2020-01-07 22:50 麦小秋 阅读(2465) 评论(0) 推荐(0) 编辑
摘要: 本次主要是抓取开盘啦股票概念数据 采用多进程、requests完成数据的爬取 采用Pandas库完成数据比对,实现mysql数据存储 具体代码如下: # -*- coding: utf-8 -*- import pandas as pd import tushare as ts import tim 阅读全文
posted @ 2020-01-07 00:07 麦小秋 阅读(2775) 评论(2) 推荐(1) 编辑