定时抓取数据并存入数据库

其实,这部分主要是实现定时抓取数据的程序,数据的抓取以及存储程序已写(从Tushare获取历史行情数据
抓取交易日(周一到周五)数据,定时为每天的15:30抓取,其中主要使用到了schedule模块用于定时执行任务
代码如下:

import schedule
import time
from datetime import datetime
from daily_crawler import DailyCrawler

def crawl_daily():
    """
    每日定时抓取
    """
    #初始化抓取日线数据类
    dc = DailyCrawler()
    #获取当前时间
    now_date = datetime.now()
    #获取今天星期几,周日-周六 0-6
    weekday = int(now_date.strftime("%w"))
    #只有周一到周五执行
    if 0 < weekday<6:
        #当前日期
        now = now_date.strftime('%Y-%m-%d')
        #抓取当日指数
        dc.crawl_index(begin_date=now,end_date=now)
        #抓取当日k线数据
        dc.crawl(begin_date=now,end_date=now)

#定时任务的启动入口
if __name__ == "__main__":
    #设定每天15:30执行任务
    schedule.every().day.at("15:30").do(crawl_daily)
    #通过无线循环,执行任务检查
    while True:
        #每10s检测一次
        schedule.run_pending()
        time.sleep(10)

posted @ 2020-04-30 19:32  牛犁heart  阅读(1133)  评论(0编辑  收藏  举报