04 2014 档案

(转)微博计数器
摘要：http://blog.cydu.net/2012/09/weibo-counter-service-design-2.html 阅读全文
posted @ 2014-04-30 16:50 小郭学路 阅读(122) 评论(0) 推荐(0) 编辑
gtest
摘要：http://www.habadog.com/2011/09/06/gtest-newhand-forself/http://www.cnblogs.com/bangerlee/archive/2011/10/02/2197879.htmlhttp://www.cnblogs.com/coderzh... 阅读全文
posted @ 2014-04-30 12:57 小郭学路 阅读(108) 评论(0) 推荐(0) 编辑
python之socket模块
摘要：UDPclient#!/usr/bin/env python2.7#-*-coding:utf-8 -*-import sockets=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)s.sendto("hello",("localhost",8001)... 阅读全文
posted @ 2014-04-29 17:04 小郭学路 阅读(1229) 评论(0) 推荐(0) 编辑
Git问题集锦
摘要：1、初始新建git,出现No refs in common and none specified; doing nothing解决方案：Perhaps you should specify a branch such as 'master'，指定master2、主分支更新了，但是其他分支还是旧的？3... 阅读全文
posted @ 2014-04-29 14:49 小郭学路 阅读(1202) 评论(0) 推荐(0) 编辑
流式数据分析模型kafka+storm
摘要：http://www.cnblogs.com/panfeng412/archive/2012/07/29/storm-stream-model-analysis-and-discussion.htmlhttp://www.baidu.com/link?url=Qm-gkOu7f148O181TS0G... 阅读全文
posted @ 2014-04-28 20:05 小郭学路 阅读(761) 评论(0) 推荐(0) 编辑
iptables
摘要：http://upload.wikimedia.org/wikipedia/commons/thumb/3/37/Netfilter-packet-flow.svg/1450px-Netfilter-packet-flow.svg.pnghttp://en.wikipedia.org/wiki/Ip... 阅读全文
posted @ 2014-04-28 18:11 小郭学路 阅读(181) 评论(0) 推荐(0) 编辑
代码追踪
摘要：开启firebug，在脚本的地方找到一些关键点打断点，然后在控制台查看php的调用php一般多为MVC架构，m表示模块，a表示函数或者方法 阅读全文
posted @ 2014-04-25 17:19 小郭学路 阅读(246) 评论(0) 推荐(0) 编辑
表字符集latin1，client如何查看中文字符
摘要：表结构如下：*************************** 1. row *************************** Table: my_data_7eCreate Table: CREATE TABLE `my_data_7e` ( `id` int(11) un... 阅读全文
posted @ 2014-04-24 15:32 小郭学路 阅读(789) 评论(0) 推荐(0) 编辑
关于 innodb_stats_on_metadata 的设置问题
摘要：【问题背景】线上使用osc进行表修改的时候出现SQL执行过长被kill的问题由于数据库配置自动保护机制，导致一些执行时间比较长的SQL被kill掉执行时间超过3分钟同事建议修改一个innodb参数，set global innodb_stats_on_metadata=0,执行时间果然变短了【原因分... 阅读全文
posted @ 2014-04-22 10:39 小郭学路 阅读(3223) 评论(0) 推荐(0) 编辑
下阶段需要学习的技术
摘要：2014-04-211、git原理、命令以及搭建自己的git服务器2、rpm和yumrpm打包过程、yum源以及测试搭建自己的yum源3、python socket通信4、数据结构 阅读全文
posted @ 2014-04-21 11:39 小郭学路 阅读(144) 评论(0) 推荐(0) 编辑
python之optparse模块
摘要：测试例子#!/usr/bin/env python2.7import sysimport osfrom optparse import OptionParserdef parse_options(): parser = OptionParser() parser.add_option("... 阅读全文
posted @ 2014-04-18 11:01 小郭学路 阅读(544) 评论(0) 推荐(0) 编辑
创建内部的yum源
摘要：http://www.phy.duke.edu/~rgb/General/yum_HOWTO/yum_HOWTO/yum_HOWTO.html#toc6.2主要的步骤包括：1、创建Repository包2、安装yum3、设置yum客户端4、使用yum客户端进行测试5、构建自己的rpm包5、考虑一些安... 阅读全文
posted @ 2014-04-17 20:34 小郭学路 阅读(169) 评论(0) 推荐(0) 编辑
rpm打包过程
摘要：【需求】 接触那么久的Linux，还没有试验过怎么打rpm包【过程】1、rpm打包准备工作 系统默认的rpmbuild的相关路径 如果想修改这个目录，怎么修改呢？ 在/data1/guosong/rpmbuild目录下创建如下目录BUILD BUILDROOT code RPMS SOU... 阅读全文
posted @ 2014-04-16 15:27 小郭学路 阅读(1177) 评论(0) 推荐(0) 编辑
Python字符集
摘要：http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html 阅读全文
posted @ 2014-04-14 18:01 小郭学路 阅读(123) 评论(0) 推荐(0) 编辑
Python之re模块（结合具体业务）
摘要：1、判断数据库名是否合法import redbname = "test_"result = re.match("[a-zA-Z_0-9]{1,}$",dbname)print result注意点：必须以[a-zA-Z_0-9]为结尾2、匹配建表语句 re_for_create_table = ... 阅读全文
posted @ 2014-04-14 11:35 小郭学路 阅读(213) 评论(0) 推荐(0) 编辑
Memcache和Memcached
摘要：Memcache是一个自由和开放源代码、高性能、分配的内存对象缓存系统。用于加速动态web应用程序，减轻数据库负载。它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个Hash表，Memcached自管理这些Hash表。Memcached是该系统的主程序文件（字母d可以理解为daemon），以守护程序方式运行于一个或多个服务器中，随时接受客户端的连接操作，使用共享内存存取数据。http://hi.baidu.com/520xurui1/item/857018cec5702454ac00ef62 阅读全文
posted @ 2014-04-10 14:40 小郭学路 阅读(175) 评论(0) 推荐(0) 编辑
负载均衡
摘要：LVSHaproxyNginxhttp://andrewyu.blog.51cto.com/1604432/697466 阅读全文
posted @ 2014-04-09 18:23 小郭学路 阅读(123) 评论(0) 推荐(0) 编辑
删除一个大表导致其他表Opening tables
摘要：http://www.mysqlperformanceblog.com/2009/06/16/slow-drop-table/删除大表的推荐方式，建立硬链接然后再drop table，最后进行物理删除 阅读全文
posted @ 2014-04-08 17:00 小郭学路 阅读(343) 评论(0) 推荐(0) 编辑
数据库中File权限的危害
摘要：The FILE privilege gives you permission to read and write files on the server host using the LOAD DATA INFILE and SELECT ... INTO OUTFILE statements and the LOAD_FILE() function. A user who has the FILE privilege can read any file on the server host that is either world-readable or readable by the M 阅读全文
posted @ 2014-04-08 11:20 小郭学路 阅读(554) 评论(0) 推荐(0) 编辑
Ext3和Ext4文件系统区别
摘要：inodehttp://www.cnblogs.com/itech/archive/2012/05/15/2502284.htmlEx3使用15个inode查询数据块，前12个为直接数据块，直接指向存储数据的数据块，接下来分别为一级间接块，二级间接块，三级间接块：其中point本来也是数据块，现在拿来做数据块的索引使用，其中ext3的头文件定义为__u32i_block[EXT3_N_BLOCKS]最大分区：无符号32位整数，block的范围为2^32，4G，按照每个block的size为4KB,所以为4G*4KB=16TB最大文件：前面直接指向12个数据块，一级间接块最大为block siz 阅读全文
posted @ 2014-04-04 18:13 小郭学路 阅读(2118) 评论(0) 推荐(0) 编辑
Openstack
摘要：今天听部门内部分享，主题是openstack，之前没听过这个名词，听完后一句话，总结openstack就是私有云的平台。现在逐一回顾一下。cloud services企业级云Iass 主要体现为Amazon AWS、阿里云ECSPaas 主要体现sina-saeSass 主要体现如印象笔记其他类型，如Database、Cache、LoadBalance、CDN as a Service新特性：1、新秀：青云https://www.qingcloud.com/，据说用户体验方面比较好，且按照运行收费2、行业云：游戏云、金融云、电商云、移动云私有云Openstackhttps://www.open 阅读全文
posted @ 2014-04-03 20:40 小郭学路 阅读(441) 评论(0) 推荐(0) 编辑
一致性hash算法以及其在分布式系统中的应用（转）
摘要：初始架构策略1：每一次memcached请求随机发送到一台memcached机器两个问题：1、同一份数据可能被存在不同的机器上而造成数据冗余2、有可能某数据已经被缓存但是访问却没有命中策略2：保证对相同的key的访问会被发送到相同的服务器h = Hash(key)%N解决上面两个问题，但是引入新的问题——容错性和扩展性不好容错性：指当系统中某一个或几个服务器变得不可用时，整个系统是否可以正确高效运行扩展性：指当加入新的服务器后，整个系统是否可以正确高效运行当减少一台服务器，需要按照Hash(key)%(N-1)当增加一台服务器，需要按照Hash(key)%(N+1)当系统中一旦服务器变更，大量 阅读全文
posted @ 2014-04-02 19:50 小郭学路 阅读(433) 评论(0) 推荐(0) 编辑
pt-tcp-model
摘要：http://blog.9minutesnooze.com/analyzing-http-traffic-tcpdump-perconas-pttcpmodel/#获取200k个packetstcpdump -c 200000 -w output.pcap -i any#获取6009端口tcpdump -r output.pcap -s 384 -i any -nnq -tttt 'tcp port 6009 and (((ip[2:2] - ((ip[0]&0xf)requesthttp://pan.baidu.com/s/1mgLodeC 阅读全文
posted @ 2014-04-01 16:49 小郭学路 阅读(307) 评论(0) 推荐(0) 编辑