摘要：
Client端发送请求, 要在发送请求的时候添加HTTP Basic Authentication认证信息到请求中，有两种方法：1. 在请求头中添加Authorization： Authorization: "Basic 用户名和密码的base64字符串" 其中, 用户名和密码中间先用:号隔开, 然 阅读全文
摘要：
Markdown 写作工具选择 候选产品 VS Code http://code.visualstudio.com 微软出品的轻量级编辑器, 免费, 和 sublime text 属于一个流派的, 配合下面几个插件 markdown 插件写. HBuilderX 这个软件写MD文档编辑体验非常棒, 阅读全文
摘要：
安装并启动jupyter 安装 后, 再安装 jupyter pip install jupyter 设置环境 ipython ipython dir= override the default IPYTHONDIR directory, ~/.ipython/ by default ipython 阅读全文
摘要：
Hadoop 发行版的选择 大数据应用, Hadoop 仅仅是一个基础, 要用起来还需要安装很多组件, 比如Hive, Mahout, Sqoop, ZooKeeper 等等, 不得不需要考虑各个软件间兼容性问题: 版本是否兼容，组件是否有冲突，编译能否通过等, 一大堆事情. 真正要在企业中要用Ha 阅读全文
摘要：
开源项目airflow的一点研究调研了一些几个调度系统, airflow 更满意一些. 花了些时间写了这个博文, 这应该是国内技术圈中最早系统性研究airflow的文章了. 转载请注明出处 http://www.cnblogs.com/harrychinese/ . ================... 阅读全文
摘要：
关于 python packaging 和 package manager 以及 虚拟环境 以及 package index server python 社区终于和打包相关的事情通盘考虑了, https://packaging.python.org/guides/tool-recommendatio 阅读全文
摘要：
转自 http://blog.csdn.net/thy822/article/details/8489779这篇文章, 我不能同意更多, 所以转在这里. Here is my thinking after looking at both products...First of all let me ... 阅读全文
摘要：
目标: 找到一个好用的数据模型设计软件, 适合数据仓库项目开发或大型数据库设计. 结果: Eclipse ERMaster 功能不算太多, 但ER建模功能都有了, 使用体验最好, 我推荐使用 Eclipse ERMaster , 另外, PowerDesigner 功能最多, 不差钱可以选这个. 下 阅读全文
摘要：
[一种声音]择校记2 先歌颂一下十月的天气，但我们没有去旅游，而是在家里待着，保持好心情。我们要把爱画画的女儿劝去走一走，逛逛街，吃吃喝喝。她刚刚迷上滴胶，要设计图案做手工艺品、做首饰。她兴趣太广，这点让我们有些不太满意。之前她喜欢刻 印章，全套日本产刻刀，各种胶皮，自己画了好多图案来刻。又之前，她... 阅读全文
摘要：
[一种声音]择校记 择校记九月最后一天，女儿下午一点钟放学。几乎还在凌晨，我和孩子妈妈就激动起来了，分工合作，让我早早、千万别晚到去接女儿。一晃之间，她在平和学校住宿四个星期了。从来没有单独出门机会的她，在学校里乐不思蜀，竟然一点不适应都没有。八月最后一天，是她第一天入校，第一次住宿，妈妈各种收拾，... 阅读全文
摘要：
如果需要考虑绘图性能开销的话, 可以考虑PyQtGraph (http://www.pyqtgraph.org/), 比matplotlib更高效, 适用于开发实时更新数据的图表，如Tick图、K线图、期权波动率曲线. matplotlib 绘图基础 绘图: matplotlib核心剖析http:/ 阅读全文
摘要：
目前Teradata数据仓库的ETL作业采用ELT方式, 因为loading太重了, 需要将ETL压力转移到专门的ETL Server上. 对于ETL工具, 市场上已有很成熟的商业/开源工具, 比如Informatica的PowerCenter, IBM的Datastage, 开源的Kettle. ... 阅读全文
摘要：
提高Web性能, 最关键还是要看瓶颈在哪里. 手段不外乎下面几个. 实现从易到难一般为: 优化Big SQL -> 引入CDN -> 引入Memcache等缓存 -> Web负载平衡(多加Web服务器) -> 数据库读写分离 -> 数据库分表分库当然, 对于高并发的Web服务, 要实现高性能和高可用 阅读全文
摘要：
之前项目有用过pygal做chart图, 写代码很容易,几行代码就很做出一个看上去还不错的chart, 缺点是: 要调的再美观很难, Web上的交互效果较差. 在web上做可视化还是推荐采用Echarts或HighCharts Javascript库. 碰到个需求, 需要在pptx中生成chart图... 阅读全文
摘要：
我将python的主力开发工具从eclipse+pydev切换到pycharm社区版了. 选择pycharm 的原因:1. pycharm可以实时按照pep8的规范检查code style和naming rules, 尤其是naming rules(类名/方法名/attr名/文件名), 这个我非常看... 阅读全文
摘要：
在这篇文章中, 将讨论EDW on Hadoop 有哪些备选方案, 以及我个人的倾向性, 最后是建构方法. 欢迎转载, 但必须注明原贴(刘忠武, http://www.cnblogs.com/harrychinese/p/edw_on_hadoop.html). 阅读全文
摘要：
Teradata的SQL设计和Oracle真不是一个水平, 一点美感的没有. 上个世纪它靠着MPP一招鲜吃变天, 居然做了十多年数据仓库的老大, 时过境迁, 现在有不少SQL On Hadoop 产品已经出来了, 考虑到scale out的成本和能力, Teradata 数据仓库优势荡然全无. 将来... 阅读全文
摘要：
最终91行为: set JAVA_OPTS=-XX:MaxPermSize=128m %OUR_JAVA_OPTS% -Xms%OUR_JAVA_MEM% -Xmx%OUR_JAVA_MEM% -Dscala.usejavacp=true -Xss10m 5. 补配hadoop环境变量 HADOOP 阅读全文
摘要：
wtforms是一个表单模板库, 下面以修改密码表单为例简单说明其用法. 我们可以用python代码定义form的基本元素, 比如用户名/邮箱, 并给定各个元素的validation条件. 然后在render_template()方法中, 将python的form类传递给html模板. 在模板上, ... 阅读全文
摘要：
easyui datagrid 在IE上加载速度慢, 150行数据就无法忍受了. firefox加载速度还可以. jquery easyui datagrid使用参考 http://www.cnblogs.com/youring2/archive/2013/03/01/2938661.html 优化 阅读全文
摘要：
edwin从发布以来, 得到了不少关注, 获得了不少star. 最近又做了一些很有意义的改进, 同时完善了部分文档. 项目地址: https://github.com/harryliu/edwin , 欢迎fork或PR, 如果喜欢, 请打star. 再次介绍一下edwin项目edwin是一个报警和... 阅读全文
摘要：
简单介绍一下edwinedwin是一个报警和监控平台, 可以使用它监控任意东西, 如有异常(分为警告级和严重级), 可以发出报警. 可以自定义报警的通知方式, 比如邮件/短信/电话. 另外, 它提供一个web UI, 能以dashboard形式展现监控指标的状态. edwin对于监控项目的组织形式... 阅读全文
摘要：
修正python pep8的警告挺无趣的, 用了 autopep8 感觉比较爽. 记录如下. ----------------pep8检查----------------平时我用pydev做pep8检查, 最近处理的是一堆单独的python脚本, 用komodo edit做pep8检查. komod... 阅读全文
摘要：
做了一个html E-Letter项目. 邮件模板采用jinja2, html 邮件内容生成简直太爽了. 整个项目开发只用了2个小时, 调试却花了大半天时间, 生成的邮件总是发不出去. 于是, 打开 smtp 的debuglevel, 发现邮件已经mail queue了, 但就是收不到邮件. mai... 阅读全文
摘要：
request对象的常用属性 具体使用方法如下:request.headers, request.headers.get('If-None-Match')request.json, request.json['value'] 或 request.json.get('detail_msg', "")r 阅读全文
摘要：
#访问不需要登录的网页import urllib2target_page_url='http://10.224.110.118/myweb/view.jsp' f = urllib2.urlopen(target_page_url)httpCodes=f.getcode()responseStr =... 阅读全文
摘要：
数据库存了些中文字符, 比如'处理脚本'这样的汉字, 结果导致一个python程序报错. 下面记录处理过程和相关结论. ===========================dal.py 程序片段,python 2.7,使用了pypyodbc模块===========================... 阅读全文
摘要：
============================解决pydev无法增加jython271 interpreter的问题============================从jython.org上下载了 jython-standalone-2.7-b1.jar, 获知jython271需要... 阅读全文
摘要：
看到小芮介绍了pygal文章后, http://rfyiamcool.blog.51cto.com/1030776/1378400, 我一直搞数据工作, 所以对于这种数据的展现很有兴趣. 做了点研究, 记录如下: =================pygal的特点=================W... 阅读全文
摘要：
Python 开发桌面程序, 之前写过一个使用IronPython的博客. 下面这个方案使用 delphi 作为主开发语言,通过 python4delphi 控件包将 python 作为 script 嵌入其中, Delphi + Python, 偏上加偏, pyscripter IDE 算是这种方案唯一的成果. =================================Delphi + Python的特点=================================Delphi GUI方面还是很强, 但第3方类库太缺了. Python正好相反, pypi的类库太丰富了. 两者结合 阅读全文
摘要：
====================================conversion routines====================================Format('There are now %d records in the table %s', [10,'Tab... 阅读全文
摘要：
============================HTTP_Method============================ HTTP Method Action Examples GET Obtain information about a resource http://example.com/api/orders (retrieve order list) GET Obtain information about a resource http://example.com/api/orders/123... 阅读全文
摘要：
已经开发了几个flask项目, 是时候总结一下了, 这里涉及到项目源码的组织和源码示例. 目录结构 考虑到项目的扩展性, 采用 blueprint 进行组织. 假设 flaskapp 为根目录, 主要的程序放在 app 包中, 除了后台代码, 在app目录下还有templates/static/子目 阅读全文
摘要：
安装Flask_RESTful-0.2.11包后, 并在pydev 对应的 interpreter 重新刷新了System PYTHONPATH, 看见Lib\site-packages\flask_restful源码目录已加到PYTHONPATH中了.当代码引用flask.ext.restful包, pydev报错unsolved import, 代码执行是没有问题的, 但会影响pydev对Flask_RESTful的代码智能提示. 比如:from flask.ext.restful import reqparse, abort, Api, Resource解决方法是:将flask.ext. 阅读全文
摘要：
我学习python过程, 和学习其它编程知识一样, 不是先读大部头书系统学习, 而是看博客和直接实践, 慢慢将这些知识点连成线, 再扩展到面. 这个过程缺点和优点都很明显. 缺点是, 有些知识点可能因为一直没有机会碰到, 就一直是盲点, 另外从点到面过程较长. 好在我自学能力很强, 基本碰到的问题都 阅读全文
摘要：
============================用一个简单的例子来理解python高阶函数============================最近在用mailx发送邮件, 写法大致如下. echo 'body'|mailx -s 'title' 'a@corp.com,b@corp.co... 阅读全文
摘要：
##统一的项目结构写了不少python项目后, 越来越认识到python项目结构重要性. 不管项目是否要开源, 是否要提交pypi, 项目结构的一致性带来的好处还有很多: 多人合作开发大家都有个基本的guideline, 别人日后维护也方便, 也容易形成项目开发的best practice. 所以花... 阅读全文
摘要：
这篇文章主要参考: http://victorlin.me/posts/2012/08/26/good-logging-practice-in-python==========================应用程序的logging的做法==========================1. 对于... 阅读全文
摘要：
大同到上海飞机660元,上海到大同要1000元多, 太贵了. 不如火车划算,但没有直达的火车. 从到达大同的时间看, 下面是相对比较好的走法. 一:车次T110(上铺304.5元), 上海-北京, 时刻18:14--09:25,车次K43(上铺99.5元), 北京-大同, 时刻10:55--17:24二:Z96/Z97，上海-太原，直达特快 19:07--9:37 K7802，太原-大同，快速 11:20--17:19 阅读全文
摘要：
通过pypyodbc使用SQL server不像pyodbc需要C, pypyodbc是纯python的实现, 安装起来非常方便. 创建连接:#在操作系统上先配odbc, 然后在代码中指定odbc的dsn, 注意即使odbc中配置了密码, 代码还是需要设密码.conn = pypyodbc.connect('''DSN=your_dsn;UID=sa;PWD=your_password;''')#在操作系统上不配odbc, 在代码中指定Driver和dbconn = pypyodbc.connect('''DRIVER={ 阅读全文