python爬虫加定时任务，制作微信提醒备忘录
一、任务的记录与提取
1.1 制作每日任务
为了便于爬取，推荐使用网页版的在线记事本，现在这种工具很多，我选择“石墨文档”进行操作演示。记录内容的 格式可以根据自己的需求和爬虫自行确定，例如我在11月20日之前记录了一份以下样式的任务清单:
01月08日 6:30 起床
01月08日 8:00 上班
01月08日 11:30 吃饭
01月08日 4:30 下班
01月08日 18:00 学习python
1.2 爬取任务信息
. 模拟登陆使用爬虫来实现待办事项的提取，发现在线记事本是需要登录的，这里用selenuim进行模拟登陆
然后从代办事项的文档中获取之前编辑好的代办事项（注意编辑待办事项的格式方便爬取）
二、信息推送给微信
2.1 获取server酱SCKEY
说到推送信息到微信，不得不介绍一个很方便的工具——server酱。说的简单一点，server酱就是一款能向目标微信账号发送信息的工具，她最大的有点就是功能简单、使用方便、轻量，使用server酱只需下面几个步骤:
登入: 用GitHub账号登入网站，获得自己的SCKEY。
绑定: 通过微信扫码关注完成绑定。
发消息: 往 http://sc.ftqq.com/SCKEY.send 发GET请求，就可以在微信里收到消息。
另外，server酱还提供了网页版的在线发送工具，可以进行体验和测试。值得一提的是，server酱的初始目的是通过手机监测服务器报警和日志，因此为避免程序出错，限制了每人每天发 送上限500条，相同内容5分钟内不能重复发送，不同内容一分钟只能发送30条。对于本系统来说，这个数据上限 绝对绰绰有余了。
2.2 定时任务与检测
现在我们需要设置一个定时任务，这里使用APScheduler来实现。APScheduler是基于Quartz的一个python定时任务框架，提供了若干种类的调度器，由于我们的定时任务进在当前进程中执行，所以选择BlockingScheduler调度器，然后通过add_job来动态增加待执行的任务。
关于APScheduler，其实并不需要了解太多，因为它的基本用法非常简单
现在还有一个问题，就是要保证我们的程序始终处于正常运行的状态，上面说过，server酱通过向目标URL发送get请求的方式推送信息，而这个get请求是有返回值的，其格式为“{'errno': 0, 'errmsg': 'success', 'dataset': 'done'}”，其中若errno为0则表示发送成功，否则会在errmsg中给出错误信息。基于此，我们可以依托logging模块记录程序每天的运行状态
具体代码如下：
import requests import logging from selenium import webdriver from lxml import etree from selenium.webdriver.common.action_chains import ActionChains from apscheduler.schedulers.blocking import BlockingScheduler class Memorandum(): # 第一步获取石墨文档代办事项的文档 def get_docs(self): user = '******' #这里是石墨文档的账号 pwd = '******' #这里是石墨文档的密码 browser = webdriver.Chrome() browser.implicitly_wait(4) #隐试延迟4秒，是全局作用只需写一次 browser.get("https://shimo.im/login") # 清空输入框的内容然后输入自己的账号密码 browser.find_element_by_xpath('//*[@id="root"]/div/div[1]/div[1]/div/div/div[2]/div[1]/div[1]/div/input').clear() browser.find_element_by_xpath('//*[@id="root"]/div/div[1]/div[1]/div/div/div[2]/div[1]/div[1]/div/input').send_keys(user) browser.find_element_by_xpath('//*[@id="root"]/div/div[1]/div[1]/div/div/div[2]/div[1]/div[2]/div/input').clear() browser.find_element_by_xpath('//*[@id="root"]/div/div[1]/div[1]/div/div/div[2]/div[1]/div[2]/div/input').send_keys(pwd) browser.find_element_by_xpath('//*[@id="root"]/div/div[1]/div[1]/div/div/div[2]/div[1]/button').click() # 点击我的桌面 a = browser.find_element_by_xpath('//*[@id="root"]/div/div[2]/div[1]/div[1]/a[2]') ActionChains(browser).double_click(a).perform() # 点击待办事项 b = browser.find_element_by_xpath('/html/body/div[1]/div/div[2]/div[2]/div/div[1]/div[2]/div[2]/div[1]/div/div/div/div[2]/div/div/a/div[1]') ActionChains(browser).double_click(b).perform() html = etree.HTML(browser.page_source) content = html.xpath('//div[@class="ql-editor"]/p/span/text()') browser.close() return content def judge_date(self,content): # 获取当天的时间 格式为 （02月08日） today = datetime.date.today().strftime("%m-%d").replace("-","月")+"日" print(today) today_task = [] for i in content: # print(i.split(" ")[0]) if i.split()[0]== today: today_task.append(''.join(i.split()[1:])) print(today_task) return today,' \n'.join(today_task) def send_mssg(self,today,messg): api = "https://sc.ftqq.com/SCU38773T7f2756aae48b772e8366c458fa535ff15c301c5bf3189.send" title = today +"代办事项" content = messg data = { "text": title, "desp": content } req = requests.post(api, data=data) logging.basicConfig(filename='log.log', format='%(asctime)s:%(message)s', level=logging.INFO) if req.json()['errno'] == 0: logging.info('发送成功') else: logging.warning('发送失败 %s' % req.json()['errmsg']) # 定时任务 def timing_task(self): content = self.get_docs() today , messg = self.judge_date(content) scheduler = BlockingScheduler() scheduler.add_job(func=self.send_mssg,args=(today,messg,),trigger='cron', day_of_week='0-6', hour=16, minute=25, end_date='2019-10-02') scheduler.start() if __name__=="__main__": m = Memorandum() m.timing_task() # c = m.get_docs() # print(c) # m.judge_date(c)
下面是效果图：
