摘要:
本篇文章主要是记录整体调整Python数据统计分析项目规范性的过程,以及自己的一些思考。 为什么要调整? 主要是为了解决数据类程序不容易测试发现错误的现状。调整公共模块出错时抛出错误到业务层,便于报警模块上传错误信息到kafka,最后能主动发出报警邮件。以及方便加入报警之外的其他程序埋点。 调整所有 阅读全文
摘要:
埋点目的 对于本次修改的数据统计分析程序的埋点,只是为了统计数据中出现的一些不易发现的错误,全部让程序主动跑出来。但是只要是主动抛出统计数据,都属于埋点。 数据埋点是数据分析的准备工作,只有埋点了才可以获得数据进行分析。在做足数据埋点之后,才能拿到想要的目标数据: 行为数据:时间、地点、人物、交互、 阅读全文
摘要:
上一篇介绍了我日常高频使用的chrome插件,那就顺便介绍一下mac上最最最能提升效率的Alfred工作流吧。 以下是我常用的 Alfred workflow 列表:(几乎每天都会用到) 不同的插件,可能有不同作者开发的版本,下面会给出我一直在用的版本,但是你完全可以去选择更适合自己的版本。比如像有 阅读全文
摘要:
问题引入 前段时间做数据收集时需要下载网宿cdn的日志进行分析。而网宿对日志下载的接口搞得很复杂,又没有提供相应的sdk,只是提供了一个shell脚本,虽然在ubuntu上使用很方便,但是脚本里面的各种重定向分析非常复杂。故此想对重定向在深入了解一点。 查询网宿日志列表的脚本 #!/bin/sh T 阅读全文
摘要:
最近有朋友问我,有没有什么可以提升效率的chrome插件推荐一下。我看了一下我的插件库,好用的还真不少。既然要推荐给一个人,还不如整理出来,分享给所有需要的人。毕竟,极致利他才能最终利己嘛。 话不多说,下面一个一个的推荐,并且附上效果截图。(注意,一定要看完,图中隐藏着很多人梦寐以求的大杀器!!!) 阅读全文
摘要:
程序中的日志打印,或者消息上传,比如kafka消息等等。经常上传的消息中需要上传堆栈信息中的文件名、行号、上层调用者等具体用于定位的消息。Python提供了以下两种方法: sys._getframe, 基础方法 inspect.currentframe, 推荐方法,提供除了sys._getframe 阅读全文
摘要:
supervisor 使用Python编写的进程管理程序supervisor来管理Python程序那是最合适不过了,supervisor基于CS架构,主要有以下两个组成部分: supervisord:supervisord是supervisor的服务端程序。负责启动子程序,应答客户端命令,子程序日志 阅读全文
摘要:
时间模块常用操作总结为下列各个函数: #!/usr/bin/env python # -*- coding: utf-8 -*- import sys reload(sys) sys.setdefaultencoding('utf-8') import time import datetime im 阅读全文
摘要:
个人感觉,svn的命令行使用起来没有git那么舒适,但是windows上的svn GUI客户端TortoiseSVN 使用非常方便。因此对于经常在虚拟机中做服务程序开发但是又不得不用svn的同学来说,结合linux开发环境和TortoiseSVN 来管理代码版本就显得尤其有用。 安装配置samba 阅读全文
摘要:
0x00 说在前面 Erlang读音/ˈɜːrlæŋ/。第一次见到的时候总感觉怎么读都读不对,后来在维基上看到Erlang标注了音标,才能准确的读出来,而且也没那么怪异。因为工作才有机会接触这门语言,也因此只有三天的时间可以看《Erlang程序设计》这本书。学习这门语言的时候带着一个工作目标:把一个 阅读全文