【Python】 用python实现定时数据解析服务(前言)

一、Why do it?

  背景:项目里上传上来的数据都是未解析的数据,而且数据量还算挺庞大的,每天上传的数据有5kw左右,如果用数据库自带的作业来解析的话,数据库会造成严重的阻塞。因此打算把数据读到外部进行解析后再插入数据库。基于我对python还不是很熟悉,所以事先得做一些调查。

  Why Python?

  1.数量掌握python后,开发效率高

  2.python数据解析效率不错,有大量库可用,不比C#差。

  3.python是动态语言,不需要特别编译生成dll后调用,可以向写Sql脚本一样直接编写运行,维护性好。

  4.私心,天天写C#没意思,想换个口味。

二、What shall we do?

  1.前期框架准备

    1).重新熟悉python的基本语言和库

    2).如何用python对SqlServer进行增删改查?并且保证效率

    3).如何在window平台下定时执行python脚本

           4).如何在无需停止定时服务的情况下,往指定文件夹下放如py脚本后,修改config文件,便可自动执行py脚本

           5).程序执行有日志功能,可以通过日志查找问题

posted @ 2015-05-08 09:53  のんきネコ  阅读(228)  评论(0编辑  收藏  举报