【Python】 用python实现定时数据解析服务(前言)
一、Why do it?
背景:项目里上传上来的数据都是未解析的数据,而且数据量还算挺庞大的,每天上传的数据有5kw左右,如果用数据库自带的作业来解析的话,数据库会造成严重的阻塞。因此打算把数据读到外部进行解析后再插入数据库。基于我对python还不是很熟悉,所以事先得做一些调查。
Why Python?
1.数量掌握python后,开发效率高
2.python数据解析效率不错,有大量库可用,不比C#差。
3.python是动态语言,不需要特别编译生成dll后调用,可以向写Sql脚本一样直接编写运行,维护性好。
4.私心,天天写C#没意思,想换个口味。
二、What shall we do?
1.前期框架准备
1).重新熟悉python的基本语言和库
2).如何用python对SqlServer进行增删改查?并且保证效率
3).如何在window平台下定时执行python脚本
4).如何在无需停止定时服务的情况下,往指定文件夹下放如py脚本后,修改config文件,便可自动执行py脚本
5).程序执行有日志功能,可以通过日志查找问题
标签:
Python
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?
2012-05-08 用CSS画三角形