Python使用TuShare将股票数据保存到Oracle数据

TuShare是个获取股票数据的模块包，我们进行分析，需要将股票数据保存到本地，避免每次都从网上获取，由于本机装有ORCALE，以ORACLE为例介绍如何保存股票数据到本地。

一、大致思路：我们先获取沪深的所有股票信息，保存到数据库中，主要使用的是dataframe的to_sql函数。

to_sql(self, name, con, flavor='sqlite', schema=None, if_exists='fail',
               index=True, index_label=None, chunksize=None, dtype=None):

if_exists参数值有三个，fail:如果表存在返回,append:在表后面追加数据;replace:把表替换掉

二、具体实现：

1、股票价格明细表

create table IQ_STOCK
(
  op_time      VARCHAR2(10),
  open         FLOAT,
  high         FLOAT,
  close        FLOAT,
  low          FLOAT,
  volume       FLOAT,
  price_change FLOAT,
  p_change     FLOAT,
  ma5          FLOAT,
  ma10         FLOAT,
  ma20         FLOAT,
  v_ma5        FLOAT,
  v_ma10       FLOAT,
  v_ma20       FLOAT,
  turnover     FLOAT,
  stockid      VARCHAR2(10),
  ktype        VARCHAR2(1)
)

2、股票基本信息表

create table IQ_STOCK_BASE
(
  code               VARCHAR2(10),
  name               VARCHAR2(100),
  industry           VARCHAR2(100),
  area               VARCHAR2(100),
  pe                 FLOAT,
  outstanding        FLOAT,
  totals             FLOAT,
  "totalAssets"      FLOAT,
  "liquidAssets"     FLOAT,
  "fixedAssets"      FLOAT,
  reserved           FLOAT,
  "reservedPerShare" FLOAT,
  esp                FLOAT,
  bvps               FLOAT,
  pb                 FLOAT,
  "timeToMarket"     NUMBER(19),
  undp               FLOAT,
  perundp            FLOAT,
  rev                FLOAT,
  profit             FLOAT,
  gpr                FLOAT,
  npr                FLOAT,
  holders            NUMBER(19)
)

3、先获取股票的基本信息：

def Get_Stock_List():
    ##取得股票基本信息
    df = ts.get_stock_basics()
    #股票数据保存
    engine = create_engine('oracle+cx_oracle://user:password@localhost/orcl')
    cnx = engine.connect()   
    ##先清空
    strSql = 'truncate table iq_stock_base'
    cnx.execute(strSql)
    df.to_sql('iq_stock_base', cnx,if_exists='append',chunksize=500)   
    cnx.close()
    return df

4、更新近30天的K线数据，此处更新的是周K线

def Update_StockData():
    ##开始日期 format：YYYY-MM-DD 为空时取到API所提供的最早日期数据
    p_start=time.strftime('%Y-%m-%d',time.localtime(time.time()-24*60*60*30))
    p_ktype='W'
    #股票数据保存
    engine = create_engine('oracle+cx_oracle://user:password@localhost/orcl')
    cnx = engine.connect() 
   
    #取出股票基本数据
    result=pd.read_sql('select * from iq_stock_base',cnx)
    for row in result['code']:
        try:
            ##避免重复先删除
            strSql = 'delete from iq_stock where stockid=\'{}\' and ktype=\'{}\' and op_time>=\'{}\''.format(row,p_ktype,p_start)
            cnx.execute(strSql)
            df=ts.get_hist_data(code=row,start=p_start,ktype=p_ktype)

            ##索引列是oracle保留关键字，必须改名
            df.index.names = ['op_time']
            df['STOCKID']= row
            df['ktype']= p_ktype
            df.to_sql('iq_stock', cnx,if_exists='append') 
            print('code:{}'.format(row)) 
        except:
            print('Exception',":",row)
       
    cnx.close()