reck for zhou

摘要： 下班时分，有群里面的朋友说python的MySQLdb在检索百万数据量的时候巨慢无比，要达到20分钟左右。由于自己的一些项目也用到了MySQLdb，所以特别注意了一下，于是翻阅了源代码。而后经过大半天对其源码的分析，初步得出一些结论。MySQLdb的性能影响主要是由于_mysql.c代码页中的self->use以及个别函数中的use参数=1或者0时引起的。由于在函数_mysql_ResultObject_Initialize中，利用：self->use = use;Py_BEGIN_ALLOW_THREADS;if (use)result = mysql_use_result(&a 阅读全文

摘要： global{server.modules +=("mod_fastcgi")}$SERVER["socket"]=="222.73.42.76:81"{#$HTTP["host"]=="db.huiin.com"{ server.name="huiin.com" server.document-root="/var/www/phpmyadmin" fastcgi.server=( ".php"=> (( "bin-pa 阅读全文

摘要： 写了好久了。自己都快忘记了顺便记在这里 1 iptables -F 2 iptables -N FIREWALL 3 iptables -F FIREWALL 4 iptables -A INPUT -j FIREWALL 5 iptables -A FORWARD -j FIREWALL 6 #pop3 7 #iptables -A FIREWALL -p tcp -m tcp --dport 110 --syn -j ACCEPT 8 #iptables -A FIREWALL -p tcp -m tcp --dport 143 --syn -j ACCEPT 9 #mysql 10 ip 阅读全文

摘要： #coding=utf-8#from reportlab.lib import *from reportlab.platypus import *from reportlab.lib.styles import * from reportlab.rl_config import * from reportlab.lib.units import *from reportlab.lib.pagesizes import *from reportlab.pdfbase import *from reportlab.lib import *#from reportlab.pdfgen import 阅读全文

摘要： #coding=utf-8def init_config(): import reportlab.rl_config reportlab.rl_config.warnOnMissingFontGlyphs = 0 from reportlab.pdfbase import pdfmetrics from reportlab.pdfbase.ttfonts import TTFont import copy pdfmetrics.registerFont(TTFont('zhenhei', 'D:/python_workspace/python_pdf_demo/wqy- 阅读全文

摘要： #coding=utf-8from reportlab.platypus import *from reportlab.lib.styles import * from reportlab.rl_config import * from reportlab.lib.units import *from reportlab.lib import pagesizes,colorsfrom reportlab.pdfbase import ttfonts,pdfmetricsimport copyFONT_PATH=('D:/python_workspace/python_pdf_demo/ 阅读全文

摘要： #coding=utf-8#import _mssqlimport psycopg2,pymssqlimport typesTableSpace='ABS.'class SyncDataBase(): def __init__(self): self.pgconn=psycopg2.connect("dbname=absob host=192.168.1.32 user=postgres password=12345") self.msconn=pymssql.connect(host="192.168.1.20",user=" 阅读全文

摘要： #coding=utf-8import os,psycopg2import _mssqlimport pymssqlfrom DBUtils.PooledDB import PooledDBhosts="192.168.1.32"users="test"passwords="12345"dbnames="testdb"ms_hosts="192.168.1.20"ms_users="sa"ms_passwords="sa"ms_databases=&quo 阅读全文

摘要： #coding=cp936import win32comfrom adoconstants import *from win32com.client import Dispatch,constantsimport osimport pythoncomclass TranslateExcel: @staticmethod def ImportMssqlToExcel(ip,dbname,username,pwd,sql,filename): conn=Dispatch('ADODB.Connection') con_str="Provider=SQLOLEDB.1;Da 阅读全文

摘要： 数据库常用操作命令Bin/mongod run 启动数据库服务端。bin/mongod.exe --dbpath d:/data/mongo 启动数据库服务端并且将数据库目录设定在该地址下。run 直接启动。例：./mongod run--dbpath 指定特定存储目录启动，若目录不存在则创建。例：./mongod --dbpath /var/data/mongo--port 指定端口启动。例：./mongod --port 12345bin/mongon.exe 启动数据库客户端用命令行操作。停止MONGO服务：方法1：服务端停止，可使用Ctrl+C方法2：在客户端停止，可先连接客户端./m 阅读全文

摘要： 一，基础配置纯静态优化.目前服务器平台主要基于debian和ubuntu系统。#基于linux-sysepoll优化server.event-handler="linux-sysepoll"server.max-fds默认是1024修改 server.max-fds,大流量网站推荐2048.2 stat() 缓存stat() 这样的系统调用,开销也是相当明显的.缓存能够节约时间和环境切换次数(context switches)一句话,lighttpd.conf加上server.stat-cache-engine = “fam”lighttpd还另外提供simple(缓存1秒 阅读全文

摘要： 有些部分是我自己写的，有些摘抄的，感谢开源社区的支持一，编译安装软件包：sudo apt-get install binutils cpp fetchmail flex gcc libarchive-zip-perl libc6-dev libcompress-zlib-perl libdb4.3-dev libpcre3 libpopt-dev lynx m4 make ncftp nmap perl perl-modules unzip zip zlib1g-dev autoconf automake1.9 libtool bison autotools-dev g++ build-ess 阅读全文

摘要： PG的配置文件是数据库目录下的postgresql.conf文件，8.0以后的版本可支持K，M，G这样的参数，只要修改相应参数后重新启动PG服务就OK了。shared_buffers：这是最重要的参数，postgresql通过shared_buffers和内核和磁盘打交道，因此应该尽量大，让更多的数据缓存在shared_buffers中。通常设置为实际RAM的10％是合理的，比如50000(400M)。将所有的内存都给 shared_buffers 将导致没有内存来运行程序。 unix 管理内存使用 swap, 当没有内存可用的时候，内核会将长时间不用的内存挪到 swap 去，这个叫：swap 阅读全文

摘要： 1、在查询分析器下查询Excel文档 SELECT * FROM OpenDataSource('Microsoft.Jet.OLEDB.4.0','Data Source="c:/测试.xls"; User ID=Admin;Password=;Extended properties=Excel 8.0')...Sheet1$ 2、从数据库中导出数据并存到文件中 EXEC master..xp_cmdshell 'bcp CAS2004..HGZ_LIAOJIAN out c:/temp1.xls -c -q -S".&q 阅读全文

摘要： ----大数据数据表分区做法CREATE TABLE bcompany_01(CHECK(cpy_id<=500000) ) INHERITS (bcompany);CREATE TABLE bcompany_02(CHECK(cpy_id<=1000000 and cpy_id>500000) ) INHERITS (bcompany);CREATE TABLE bcompany_03(CHECK(cpy_id<=1500000 and cpy_id>1000000) ) INHERITS (bcompany);CREATE TABLE bcompany_04( 阅读全文

摘要： 这是以前工作中测试用例。准备离职了，顺便贴到这里来几个存储过程和方法：SELECT convert_from('aaaa','utf-8')CREATE OR REPLACE FUNCTION ABS.PRC_ENCODE_UTF8(PARAMS VARCHAR) RETURNS SETOF recordAS $$ declare sql varchar; r RECORD; BEGINsql:='select * from abs.bcustomer';FOR r IN (EXEC sql)LOOPRETURN NEXT r;END LOOP; 阅读全文

摘要： 从Linux下拷回通过编译的源代码后，在硬盘上展开，例如我展开后将所有的源代码放到D:/Postgresql/source目录下。然后建立一个目录D:/Postgresql/insight,打开sourceinsight后在这个目录下创建一个project，将D:/Postgresql/source/backend目录下的所有文件加入该项目然后找到D:/Postgresql/source/doc/postgres.tar.gz，将它解开到D:/Posgresql/doc目录下，再用浏览器打开D:/Postgresql/doc/html/index.html并按ctrl+d加入收藏夹，有时间的话 阅读全文

摘要： 后台代码主要集中在 backend下面各个目录 access 物理表 index的实现 bootstrap 初始化模块 catalog 数据字典模块， commands ddl命令实现 executor 执行器 lib 辅助模块，双向list libpq 前后台通信 main main入口 Makefile nls.mk nodes query结构采用nodes表示，辅助模块 optimizer 优化器 parser 语法语义分析 po 多语言， port 不同操作系统特殊用法 postmaster 启动进程，后台进程，autovacumm等 regex regular expression 阅读全文

摘要： framework基本都是开发的远程调用方法DBUtils.PooledDB 是一个python的mysql数据连接池。后期都改为SQLAlchemy的连接池了#coding=utf-8import sys,Ice,loggingfrom framework.ProspectEvent import *from framework.ProductEvent import *from framework.OrderEvent import *from DBUtils.PooledDB import PooledDBimport MySQLdbimport settingsimport timei 阅读全文

摘要： 当初项目选型时，在Ice,Net Remoting,omniORB徘徊许久，最终还是选用了Ice。这是omniORB的一个简单用例。idl接口描述module messenger{ interface SecretMessage { string get_message(); };};服务端实现：#coding=utf-8import messenger, messenger__POA#定义业务服务对象class OurSecretMessage(messenger__POA.SecretMessage): def __init__(self, secret_message): self.se 阅读全文