学以致用

focus on Python , C++, and some interest in Go and R

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2012年2月1日

摘要: 为了调试方便,特意将python的logging模块封装了一下,支持同时向console和file输出,支持日志文件回滚。(1)myloggingconfig.pyView Code # -*- coding: utf-8 -*-'''Created on 2011-8-24主要用途: 对程序中所使用的loggong模式做一般性配置@author: JerryKwan'''import loggingimport logging.handlersimport osLEVELS = {'NOSET': logging.NOTSET, 阅读全文
posted @ 2012-02-01 13:39 Jerry.Kwan 阅读(1732) 评论(0) 推荐(0) 编辑

摘要: 项目中碰到了这么一个需求:有一个record文件,每行一个item,整个文件大小在2G左右。根据要求,需要每天向其他系统提供100000个item,怎么处理比较好?考虑之后觉得分片的主意不错,先根据每片的item数对这个大文件进行分片,然后每天投放一片即可。具体python代码如下:View Code # -*- coding: utf-8 -*-import osimport sysimport shutilimport time# import linecacheimport hashlibimport zlibimport binasciiimport urllib2import log 阅读全文
posted @ 2012-02-01 13:30 Jerry.Kwan 阅读(1362) 评论(0) 推荐(0) 编辑