定时抓取数据并存入数据库
其实,这部分主要是实现定时抓取数据的程序,数据的抓取以及存储程序已写(从Tushare获取历史行情数据)
抓取交易日(周一到周五)数据,定时为每天的15:30抓取,其中主要使用到了schedule模块用于定时执行任务
代码如下:
import schedule
import time
from datetime import datetime
from daily_crawler import DailyCrawler
def crawl_daily():
"""
每日定时抓取
"""
#初始化抓取日线数据类
dc = DailyCrawler()
#获取当前时间
now_date = datetime.now()
#获取今天星期几,周日-周六 0-6
weekday = int(now_date.strftime("%w"))
#只有周一到周五执行
if 0 < weekday<6:
#当前日期
now = now_date.strftime('%Y-%m-%d')
#抓取当日指数
dc.crawl_index(begin_date=now,end_date=now)
#抓取当日k线数据
dc.crawl(begin_date=now,end_date=now)
#定时任务的启动入口
if __name__ == "__main__":
#设定每天15:30执行任务
schedule.every().day.at("15:30").do(crawl_daily)
#通过无线循环,执行任务检查
while True:
#每10s检测一次
schedule.run_pending()
time.sleep(10)