harrychinese

摘要： 提高Web性能, 最关键还是要看瓶颈在哪里. 手段不外乎下面几个. 实现从易到难一般为: 优化Big SQL -> 引入CDN -> 引入Memcache等缓存 -> Web负载平衡(多加Web服务器) -> 数据库读写分离 -> 数据库分表分库当然, 对于高并发的Web服务, 要实现高性能和高可用 阅读全文

摘要： 之前项目有用过pygal做chart图, 写代码很容易,几行代码就很做出一个看上去还不错的chart, 缺点是: 要调的再美观很难, Web上的交互效果较差. 在web上做可视化还是推荐采用Echarts或HighCharts Javascript库. 碰到个需求, 需要在pptx中生成chart图... 阅读全文

摘要： 我将python的主力开发工具从eclipse+pydev切换到pycharm社区版了. 选择pycharm 的原因:1. pycharm可以实时按照pep8的规范检查code style和naming rules, 尤其是naming rules(类名/方法名/attr名/文件名), 这个我非常看... 阅读全文

摘要： 在这篇文章中, 将讨论EDW on Hadoop 有哪些备选方案, 以及我个人的倾向性, 最后是建构方法. 欢迎转载, 但必须注明原贴(刘忠武, http://www.cnblogs.com/harrychinese/p/edw_on_hadoop.html). 阅读全文

摘要： Teradata的SQL设计和Oracle真不是一个水平, 一点美感的没有. 上个世纪它靠着MPP一招鲜吃变天, 居然做了十多年数据仓库的老大, 时过境迁, 现在有不少SQL On Hadoop 产品已经出来了, 考虑到scale out的成本和能力, Teradata 数据仓库优势荡然全无. 将来... 阅读全文

摘要： 最终91行为: set JAVA_OPTS=-XX:MaxPermSize=128m %OUR_JAVA_OPTS% -Xms%OUR_JAVA_MEM% -Xmx%OUR_JAVA_MEM% -Dscala.usejavacp=true -Xss10m 5. 补配hadoop环境变量 HADOOP 阅读全文

摘要： wtforms是一个表单模板库, 下面以修改密码表单为例简单说明其用法. 我们可以用python代码定义form的基本元素, 比如用户名/邮箱, 并给定各个元素的validation条件. 然后在render_template()方法中, 将python的form类传递给html模板. 在模板上, ... 阅读全文

摘要： easyui datagrid 在IE上加载速度慢, 150行数据就无法忍受了. firefox加载速度还可以. jquery easyui datagrid使用参考 http://www.cnblogs.com/youring2/archive/2013/03/01/2938661.html 优化 阅读全文

摘要： edwin从发布以来, 得到了不少关注, 获得了不少star. 最近又做了一些很有意义的改进, 同时完善了部分文档. 项目地址: https://github.com/harryliu/edwin , 欢迎fork或PR, 如果喜欢, 请打star. 再次介绍一下edwin项目edwin是一个报警和... 阅读全文

摘要： 简单介绍一下edwinedwin是一个报警和监控平台, 可以使用它监控任意东西, 如有异常(分为警告级和严重级), 可以发出报警. 可以自定义报警的通知方式, 比如邮件/短信/电话. 另外, 它提供一个web UI, 能以dashboard形式展现监控指标的状态. edwin对于监控项目的组织形式... 阅读全文

摘要： 修正python pep8的警告挺无趣的, 用了 autopep8 感觉比较爽. 记录如下. ----------------pep8检查----------------平时我用pydev做pep8检查, 最近处理的是一堆单独的python脚本, 用komodo edit做pep8检查. komod... 阅读全文

摘要： 做了一个html E-Letter项目. 邮件模板采用jinja2, html 邮件内容生成简直太爽了. 整个项目开发只用了2个小时, 调试却花了大半天时间, 生成的邮件总是发不出去. 于是, 打开 smtp 的debuglevel, 发现邮件已经mail queue了, 但就是收不到邮件. mai... 阅读全文

摘要： request对象的常用属性 具体使用方法如下:request.headers, request.headers.get('If-None-Match')request.json, request.json['value'] 或 request.json.get('detail_msg', "")r 阅读全文

摘要： #访问不需要登录的网页import urllib2target_page_url='http://10.224.110.118/myweb/view.jsp' f = urllib2.urlopen(target_page_url)httpCodes=f.getcode()responseStr =... 阅读全文

摘要： 数据库存了些中文字符, 比如'处理脚本'这样的汉字, 结果导致一个python程序报错. 下面记录处理过程和相关结论. ===========================dal.py 程序片段,python 2.7,使用了pypyodbc模块===========================... 阅读全文

摘要： ============================解决pydev无法增加jython271 interpreter的问题============================从jython.org上下载了 jython-standalone-2.7-b1.jar, 获知jython271需要... 阅读全文

摘要： 看到小芮介绍了pygal文章后, http://rfyiamcool.blog.51cto.com/1030776/1378400, 我一直搞数据工作, 所以对于这种数据的展现很有兴趣. 做了点研究, 记录如下: =================pygal的特点=================W... 阅读全文

摘要： Python 开发桌面程序, 之前写过一个使用IronPython的博客. 下面这个方案使用 delphi 作为主开发语言,通过 python4delphi 控件包将 python 作为 script 嵌入其中, Delphi + Python, 偏上加偏, pyscripter IDE 算是这种方案唯一的成果. =================================Delphi + Python的特点=================================Delphi GUI方面还是很强, 但第3方类库太缺了. Python正好相反, pypi的类库太丰富了. 两者结合 阅读全文

摘要： ====================================conversion routines====================================Format('There are now %d records in the table %s', [10,'Tab... 阅读全文

摘要： ============================HTTP_Method============================ HTTP Method Action Examples GET Obtain information about a resource http://example.com/api/orders (retrieve order list) GET Obtain information about a resource http://example.com/api/orders/123... 阅读全文

摘要： 已经开发了几个flask项目, 是时候总结一下了, 这里涉及到项目源码的组织和源码示例. 目录结构 考虑到项目的扩展性, 采用 blueprint 进行组织. 假设 flaskapp 为根目录, 主要的程序放在 app 包中, 除了后台代码, 在app目录下还有templates/static/子目 阅读全文

摘要： 安装Flask_RESTful-0.2.11包后, 并在pydev 对应的 interpreter 重新刷新了System PYTHONPATH, 看见Lib\site-packages\flask_restful源码目录已加到PYTHONPATH中了.当代码引用flask.ext.restful包, pydev报错unsolved import, 代码执行是没有问题的, 但会影响pydev对Flask_RESTful的代码智能提示. 比如:from flask.ext.restful import reqparse, abort, Api, Resource解决方法是:将flask.ext. 阅读全文

摘要： 我学习python过程, 和学习其它编程知识一样, 不是先读大部头书系统学习, 而是看博客和直接实践, 慢慢将这些知识点连成线, 再扩展到面. 这个过程缺点和优点都很明显. 缺点是, 有些知识点可能因为一直没有机会碰到, 就一直是盲点, 另外从点到面过程较长. 好在我自学能力很强, 基本碰到的问题都 阅读全文

摘要： ============================用一个简单的例子来理解python高阶函数============================最近在用mailx发送邮件, 写法大致如下. echo 'body'|mailx -s 'title' 'a@corp.com,b@corp.co... 阅读全文

摘要： ##统一的项目结构写了不少python项目后, 越来越认识到python项目结构重要性. 不管项目是否要开源, 是否要提交pypi, 项目结构的一致性带来的好处还有很多: 多人合作开发大家都有个基本的guideline, 别人日后维护也方便, 也容易形成项目开发的best practice. 所以花... 阅读全文

摘要： 这篇文章主要参考: http://victorlin.me/posts/2012/08/26/good-logging-practice-in-python==========================应用程序的logging的做法==========================1. 对于... 阅读全文

摘要： 大同到上海飞机660元,上海到大同要1000元多, 太贵了. 不如火车划算,但没有直达的火车. 从到达大同的时间看, 下面是相对比较好的走法. 一:车次T110(上铺304.5元), 上海-北京, 时刻18:14--09:25,车次K43(上铺99.5元), 北京-大同, 时刻10:55--17:24二:Z96/Z97，上海-太原，直达特快 19:07--9:37 K7802，太原-大同，快速 11:20--17:19 阅读全文

摘要： 通过pypyodbc使用SQL server不像pyodbc需要C, pypyodbc是纯python的实现, 安装起来非常方便. 创建连接:#在操作系统上先配odbc, 然后在代码中指定odbc的dsn, 注意即使odbc中配置了密码, 代码还是需要设密码.conn = pypyodbc.connect('''DSN=your_dsn;UID=sa;PWD=your_password;''')#在操作系统上不配odbc, 在代码中指定Driver和dbconn = pypyodbc.connect('''DRIVER={ 阅读全文

摘要： 我的SQL server数据库仅用作分析用, 不需要考虑数据备份和恢复的问题. 每天都会增长大量的数据, 现在碰到的问题是, ldf 文件增长的非常厉害, 需要压一压.参考文章:http://stackoverflow.com/questions/56628/how-do-you-clear-the-sql-server-transaction-log压缩ldf文件的操作步骤如下:1.将数据库恢复模式调整为simple模式2.定期做手动shrink库, 比如每12小时DBCC SHRINKDATABASE(myXXDB) 但将数据库设置为自动shrink后, 好像并不起作用, ldf还是增长得 阅读全文

摘要： ------------------首先根据实例, 体会一下闭包的效果------------------ 定义闭包:def foo(x): a = [0] def bar(y): a[0] = a[0]*x + y print(a[0]) return a[0] return bar 使用闭包f=foo(1)f(2) #print 2f(2) #print 4f(2) #print 6------------------闭包要达到的目的------------------普通函数, 输入给定后, 输出总是一定的, 比如add(1,2), 无论... 阅读全文

摘要： SQL Server 2005的全文检索采用类似Lucece的技术, 为文本检索做index, 尤其适合大文本字段的检索, 性能比Lucece差一些. 著名的stackoverflow网站也使用过SQL server 2005 Full text search, 应该能满足多数性能要求.======... 阅读全文

摘要： 在亚马逊官网上买了一个kindle paperwhite 一代(849元) , 打算再买个皮套, 淘宝店 http://detail.tmall.com/item.htm?spm=a230r.1.14.110.3WFYY4&id=18881422979查看了固件版本为Kindle 5.3.4版本, 可用空间是1.2GB. 吐槽一下, 触摸屏有时候让人抓狂, 好几次只能重启了一体验就发现不折腾不行:1.Kindle 6寸屏看平常的PDF文档, 字条太小, 没法看. 2.Kindle 不能按照目录方式查看文档, 所有文档堆成一堆, 只能按照时间和书名方式来排序查看文档, 文档一多, 找起来 阅读全文

摘要： 接下来我会整理一些做过的项目, 并将其中有通用性的代码开源出来, 如果有谁碰巧有这样的需求, 可以拿过去用就行了.项目背景:工人使用加工中心(数控机床)加工工件时, 需要根据工件的型号, 然后在用户界面上浏览找到对应的NC文件, 然后加工中心加载这个NC文件, 完成工件加工. 该加工中心的操作系统是Windows.问题是: 在加工中心上找文件, 因为键盘的缘故很不方便, 同时NC文件又特别多, 容易找错文件.我给出的方案是: 使用扫描枪, 条码为工件的型号, 通过型号和NC文件的映射关系, 可以得到NC文件名, 然后控制原有加工程序加载指定的NC文件.难点是: 加工中心操作系统是那种深度定制的 阅读全文

摘要： 1. http://equation85.github.io/blog/markdown-examples/, 以示例讲解markdown语法, 很不错的. 2. 大段code如果使用``` 包起来仍不起效果, 使用 your_code_here 包起来. 3. http://ghosertblog.github.io/mdeditor/ 是一个非常棒的online markdown编辑器, 语法介绍很实用很简洁.markdown输出table也很简单, 第一行用|分隔不同的列, 第二行用--和|组成, 对齐方式也可以指定: |:----| 为左对齐, |:---:|为居中, 但无法控制每个单 阅读全文

摘要： 这是串口编程的第三篇, 也是最后一篇. 为客户开发一个程序, 是个机加工工厂, 他们有个量测仪器, 能将量测值通过串口打印机打印出来, 工人拿着这个纸条, 再加工中心上输入量测值. 在机床上输入东西比较麻烦, 也容易出错, 需要做些改造, 因为量测设备的操作系统是一个嵌入式系统, 也没有源码, 无法直接修改量测软件. 我给的方案如下: 方案:加一个PC机, 抓取串口打印机接收的数据, 提起其中的量测值, 然后将量测值以文件的形式发送到加工中心上.现场条件不允许安装.Net Framework, 所以我选择使用Delphi开发串口程序, 通讯用额是Turbo Power的 TApdComPort 阅读全文

摘要： 以前没有实际接触过串口编程, 基础知识也缺乏, 所以突击学习了一下. 但在flow control这块, 花了很长时间, 看了很多文档, 多数含糊不清, 甚至相互矛盾. 最后, 终于找到一个教程, 讲解的很全面, 还有接线方式介绍. http://netcourse.cug.edu.cn/NCourse/weixingjisuanji/content/chapter4/4-3/4-3-2.htm现在抄录几个重要的点:1.电气特性 EIA-RS-232C, 采用如下电平规定: 在TxD和RxD上：逻辑1(MARK)=-3V～-15V 逻辑0(SPACE)=+3～＋15V 在R... 阅读全文

摘要： 要做一个小软件, 提取和转发串口数据. 计划分3个随笔总结一下, 第一是使用到的串口软件, 第二是有关串口的基础知识, 第三是 TurboPower TApdComPort VCL的使用.这是第一篇, 串口软件清单. 无数实践证明, google search 真不是吹的, bing和baidu差远了. =====================虚拟串口软件 ===================== http://www.eltima.com/products/vspdxp/ , 花了很长时间, 试用了十几个同类软件, 只有这个可用. 可使用该软件增加串口, 因为是虚拟串口, 单个串口是没. 阅读全文

摘要： 我的一个程序, 总是在退出时报异常, Exception TypeError: "'NoneType' object is not callable" in at 0x016207F0> ignored. 这个异常用try except捕获不到. 不断测试来定位异常的引入点, 最后发现一旦引用了数据库模块mydatabase, 就会报错. 但直接运行该数据库模块, 没有异常.太诡异了！mydatabase模块, 代码很简单, 根据ini的设置, 初始化 sqlalchemy engine和 connection.在stackoverflow 也有人就s 阅读全文

摘要： 这个随笔涉及到几个批处理脚本得知识点。windows的start命令, 启动另一个窗口运行指定的程序或命令。windows的call命令, 从批处理程序调用另一个程序, 直到被调用程序退出, 再继续原先的批处理程序参数: windows, %0为shell 本身, %1为第1个参数, 以此类推 linux, $0为shell 本身, $1为第1个参数, 以此类推返回值: windows:当一个命令完成后, 可以使用 %errorlevel% , 获得 exit code linux: 可以使用$?得到上个命令的exit code永久环境变量:windows, 在操作系统环境变量中设置... 阅读全文

摘要： git.oschina.net开放了git存放, 私有库限额是2个, 公开库限额是10个. 考虑到 github 和 bitbucket 被那个为时不远了. 我计划慢慢转到oschina上面. 远程git操作, 推荐使用ssh协议, 而不是https协议, 速度快呀. 另外, 不知为何我使用git客... 阅读全文