Mr_Cxy

导航

2016年11月30日 #

python2.7 爬虫初体验爬取新浪国内新闻_20161130

摘要： python2.7 爬虫初学习 模块：BeautifulSoup requests 1、获取新浪国内新闻标题 2、获取新闻url 3、还没想好,想法是把第2步的url 获取到下载网页源代码 再去分析源代码 获取新闻详情页 发表时间 新闻来源等数据 结合MySQLdb模块导入到数据库 4、疑惑：期望是 阅读全文

posted @ 2016-11-30 21:53 Mr_Cxy 阅读(267) 评论(0) 推荐(0) 编辑

kettle导数删除并插入更新数据_20161130

摘要： 这里有3个表 仅是时间维度不同 天 周 月,现在需要把昨天数据每天添加进入这3个表 由于业务上会有退货等情况,因此需要先把这些表原来的部分数据删除 再从那个时间点进行更新。 天需要先删除前7天的数据，周需要删除前2周数据,月需要删除2个月之前数据 以保证数据准确 kettle 中提供了执行SQL脚本 阅读全文

posted @ 2016-11-30 21:39 Mr_Cxy 阅读(1885) 评论(0) 推荐(0) 编辑

MySQL_各城市在线产品天订单数据20161130

摘要： #sealreport010 `tb010_02d`各城市在线产品天订单数据 阅读全文

posted @ 2016-11-30 21:28 Mr_Cxy 阅读(446) 评论(0) 推荐(0) 编辑