摘要：
王家林亲授《DT大数据梦工厂》大数据实战视频Scala深入浅出实战经典（1-64讲）完整视频、PPT、代码下载：百度云盘：http://pan.baidu.com/s/1c0noOt6腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDj... 阅读全文
摘要：
Scala深入浅出实战经典（1-64讲）完整视频、PPT、代码下载：百度云盘：http://pan.baidu.com/s/1c0noOt6腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy访问密码45e2 以下为第37讲Lis... 阅读全文
摘要：
最近这几年一直在用java搞大数据方面的研究，一直都在自己的摸索中前进，当然也在网上找到一些比较好的教程，能帮助自己更快更有效的掌握各种技术，最近在阅读spark的源码， spark确实很强大，一种堆栈解决各种大数据的问题．Spark亚太研究院决胜大数据时代100期公益大讲堂大家可以去看这个视频，王... 阅读全文
摘要：
首先看一下分页的基本原理：mysql> explain SELECT * FROM message ORDER BY id DESC LIMIT 10000, 20G ***************** 1. row ************** id: 1 select_type: SIMPLE table: message type: index possible_keys: NULL key: PRIMARY key_len: 4 ref: NULL rows: 10020 Extra: 1 row in set (0.00 sec)limit 10000,20的意思扫描满足条件的 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com# 以下选项会被MySQL客户端应用读取。# 注意只有MySQL附带的客户端应用程序保证可以读取这段内容。# 如果你想你自己的MySQL应用程序获取这些值。# 需要在MySQL客户端库初始化的时候指定这些选项。#[client]#password = [your_password]port = @MYSQL_TCP_PORT@socket = @MYSQL_UNIX_ADDR@# *** 应用定制选项 ***## MySQL 服务端#[mysqld]# 一般配置选项port = @MYSQL_TCP_PORT@socket 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.comLinux下查看CPU，内存等参数配置admin发表于 2012-02-25, 2:58 AM. 发表在:服务器相关#uname -aLinux euis1 2.6.9-55.ELsmp #1 SMP Fri Apr 20 17:03:35 EDT 2007 i686 i686 i386 GNU/Linux(查看当前操作系统内核信息)#cat /etc/issue | grep LinuxRed Hat Enterprise Linux AS release 4 (Nahant Update 5)(查看当前操作系统发行版信 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com安装python2.7：CentOS 5升级python版本（2.4>2.7） 2011年12月07日 ⁄ Python ⁄ 暂无评论 转载地址http://www.mypython.info/centos-5-update-python-version.html 日前在CentOS上搭建测试环境时候，遇到需要升级python版本的情况，于是就记录了整个升级的过程： 在CentOS5中自带的Python版本是2.4，但是目前许多基于Python的应用软件要求的Python版本应要高于2.4。升级python版本的时候 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com drizzle 的安装： http://agentzh.org/misc/nginx/drizzle7-2011.07.21.tar.gz When you get the drizzle7 2011.07.21 release tarball, you can install libdrizzle-1.0 like this: tar xzvf drizzle7-2011.07.21.tar.gz cd drizzle7-2011.07.21/ ./configure --without-server make li. 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com免费SSH帐号获得一个SSH帐号你通常得购买支持SSH的空间，如果希望将这个SSH帐号作为代理服务器，还要确保空间商没有禁止端口转发。何必这么麻烦，不如到这里申请免费的Dreamhost SSH帐号。本文将告诉你如何获得免费的 SSH 账号并将其作为你永久的加密代理服务器。第一步：免费获取拥有SSH权限的帐号和密码怎样获得免费 SSH 账号？转载本文至你的博客，并把网址发送到 moc.liamg@wfgkc.f。人工审核通过你将收到一封附有五个 SSH 账号的电子邮件。第二步：开始使用免费 SSH 账号下载 MyEntun 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com1·安装Python2.7.3[root@centos ~]# wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tar.bz2[root@centos ~]# tar jxvf Python-2.7.3.tar.bz2 [root@centos ~]# cd Python-2.7.3[root@centos ~]# make && make install[root@centos ~]# rm /usr/bin/python &am 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.comwget http://nchc.dl.sourceforge.net/sourceforge/awstats/awstats-6.9.tar.gztar zxvf awstats-6.9.tar.gzmv awstats-6.9/ /usr/local/cd /usr/local/awstats-6.9/tools/./awstats_configure.pl Do you want to continue setup from this NON standard directory [yN] ?yConfig file 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.comHorizontal accordion: jQuery基于jQuery开发，非常简单的水平方向折叠控件。主页:http://letmehaveblog.blogspot.com/2007/10/haccordion-simple-horizontal-accordion.html (无法找到)下载:http://letmehaveblog.blogspot.com/2007/10/haccordion- simple-horizontal-accordion.html示例:http://letmehaveblog.blo 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com我的本地虚拟机都是用root用户登录的；1 配置hosts文件，每个节点都要配置2 建立hadoop运行账号，每个节点都要设置 useradd grid passwd grid 设置账户密码3 配置ssh免密码连入，每个节点都要设置 sudo su – grid cd ~ mkdir .ssh ssh-keygen -t rsa 一直回车即可 每个节点都有其他节点生成的authorized_keys的值，这样我们追加到authorized_keys就可以了； 比如： H1 : cat authorized_k... 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com抓取页面，正则不会写该怎么办那，有个好工具推荐给大家simple_html_dom.php。。。。直接贴代码了，哈哈"game.hao123.htm", "func"=>"snap", "f"=>"dl.fav_container dt.fav_tl", "s"=>"dl.fav_container dd.fav_links", 'classid'=& 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com1．Squid是什么? Squid是一种用来缓冲Internet数据的软件。它是这样实现其功能的，接受来自人们需要下载的目标（object）的请求并适当地处理这些请求。也就是说，如果一个人想下载一web页面，他请求Squid为他取得这个页面。Squid随之连接到远程服务器（比如：http：//squid.nlanr.net/）并向这个页面发出请求。然后，Squid显式地聚集数据到客户端机器，而且同时复制一份。当下一次有人需要同一页面时，Squid可以简单地从磁盘中读到它，那样数据迅即就会传输到客户机上。当前的Squid.. 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com最近忙着用Redis实现一个消息通知系统，今天大概总结了一下技术细节，其中演示代码如果没有特殊说明，使用的都是PhpRedis扩展来实现的。内存比如要推送一条全局消息，如果真的给所有用户都推送一遍的话，那么会占用很大的内存，实际上不管粘性有多高的产品，活跃用户同全部用户比起来，都会 小很多，所以如果只处理登录用户的话，那么至少在内存消耗上是相当划算的，至于未登录用户，可以推迟到用户下次登录时再处理，如果用户一直不登录，就一了 百了了。队列当大量用户同时登录的时候，如果全部都即时处理，那么很容易就崩溃了，此时可以使用一个队列 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com昨天服务器被ddos攻击了两次，全网瘫痪了，而且两个ip都被机房封掉了，悲催的啊所以赶快限制下ip的并发吧http{........#这个是限制连接的存储区limit_zone apks $binary_remote_addr 30m;#这个是限制请求的存储区limit_req_zone $binary_remote_addr zone=one:30m rate=1r/s;.......}server{listen 80;server_name *******;index index.php index.htm index 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.comNginx下的配置也挺方便的，我们可以沿用由Apache的htpasswd模块生成的.htpasswd文件作为密码文件。注意，nginx 的 http auth basic 的密码是用 crypt(3) 加密的，而apache是md5加密。所以生成时:/usr/local/apache2/bin/htpasswd-c-dpass_fileuser_name#回车输入密码，-c表示生成文件，-d是以crypt加密对于lnmp用户，一般不安装apache了，文末老N会告诉你个生成方法。我们将这个htpasswd文件放到ngin 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com下面开始编译phpredis到php的扩展，入门请参见http://skirt.sinaapp.com/?p=110phpredis项目的主页：https://github.com/owlient/phpredis到这里下载最新的代码，其实说最新，已经一年多没有更新了。phpredis提供了便捷的操作for redis服务，顺便可以联系下怎么在centos上编译扩展。首先下载owlient-phpredis-2.1.1-1-g90ecd17.tar.gz ，把文件拷贝到你php源码目录的ext目录下，tar -zxvf o 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com最近有一个新需求：类似微博的地址那样，短地址的实现，为了无线这边广告的推广更方便；知识点1， 创建url和段地址的映射，用缓存或者mysql都可以；CREATE TABLE `shorturl` (`id` mediumint(8) NOT NULL AUTO_INCREMENT,`parm` char(30) NOT NULL DEFAULT '', url的参数`short` char(10) NOT NULL, 短地址PRIMARY KEY (`id`)) ENGINE=MyISAM DEFAULT 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com一、FastDFS简介：FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只 能通过 专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及FastDFS、mogileFS、 HDFS、TFS等类GoogleFS都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com匿名用户：ftp 密码为空即可登录；然后一次修改anon相关的参数来测试文件的上传，下载，删除，重命名等操作；本地用户：为了现在本地用户在自己的家目录访问需要用：User_config_dir 用来实现不同用户不同的权限设置；Test ,test1 分别为本地用户实例：不能上传也不能下载；虚拟单用户pam认证方式Step 1) Create the virtual users database.创建虚拟用户数据库文件cd /etc/vsftpd/touch logins.txtecho 'tom' > 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com相比前面介绍的各种复制结构，MySql Cluster最显著的优点就是高可用性，高实时性，高冗余，扩展性强。但是MySql Cluster的性能一直偏低，好在现在的7.x版本，性能上已经有了很大的改进和提高。MySql Cluster采用的是NDB存储引擎，在建表的时候必须指定ENGINE为ndbcluster，这是一种内存式的存储引擎，因此对内存的要求很高。足够大的内存，处理速度更快的CPU，更快的网络的环境（千兆以上），在Sql节点使用cache技术等措施都能显著提高集群的效率，但是具体的优化配置得根据你的实际情况和需 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.comMySql主从复制(Master-Slave)先简单的说一下MySql复制的过程，但是实际的每个步骤比这要复杂。1.主(master)服务器把数据更改的记录或者事件记录到二进制日志里。2.从(slave)服务器把主服务器的二进制日志复制到自己的中继日志里。3.从(slave)服务器根据中继日志的内容应用到自己的数据上。假设我们的主从复制结构是由3台服务器构成，1台master,2台slave。文章中的命令行提示符的含义：123[root@m/s/s ~]# 表示要在master slave slave三台服务器里都要执行的 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com本文将介绍主动被动模式下的MySql主主复制，和前一篇讲的主动主动模式下的主主复制相比，最大的差别就是，其中一台主服务器是只读的被动服务器（不是固定的，动态切换），因此很好的解决了主动主动模式下的冲突问题以及同时插入数据可能产生的数据错误（高性能MySql那本书上有详细的分析），并且一台主服务器挂了也不影响数据的写入，从而实现高可用性（不能算是完全的）。要实现这种结构，我们需要使用Google的开源项目MySql-MMM(其实这个工具是perl脚本),他把服务器的角色抽象成writer和reader,并混合了固定IP和虚拟 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com本篇简单的介绍一下MySql主动-主动模式下的主主复制，虽然这种模式的复制会出现很多问题，最明显的就是自增主键的冲突问题，但是在某些特定的环境下，还是会用到这种复制模式。假设我们的主从主从复制结构是由4台服务器构成，2台master,2台slave。master服务器1:192.168.0.100 slave服务器1:192.168.0.101master服务器2:192.168.0.200 slave服务器2:192.168.0.201构成的结构图如下：首先，分别在4台机器上安装MySql，并使用MySql自带的my-m 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com一，安装： wget http://www.monkey.org/~provos/libevent-1.4.12-stable.tar.gztar zxvf libevent-1.4.12-stable.tar.gzcd libevent-1.4.12-stable/./configure --prefix=/usrmake && make install/sbin/ldconfigcd ../wget http://launchpad.net/gearmand/trunk/0.9/+download/ge 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.comInotify + rsync：需求： rsync3.xinotify-tools条件：需要实时同步的两台主机: 10.3.0.173 server10.3.0.215 分发服务器同步的网站目录: /home/rsync/1install:# cd /usr/local/src# wget http://www.samba.org/ftp/rsync/s ... nc-3.0.6pre1.tar.gz# wget http://jaist.dl.sourceforge.net/ ... y-tools-3.13.tar.g 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.comredis命令参考：http://redis.readthedocs.org/en/latest/index.htmlredis主从配置：只要把以下参数修改即可：pidfile：pid地址logfile：日志文件地址port：端口号bind：绑定一个主机地址，本机或者远程slaveof：master 主机地址和端口master：/usr/local/redis/etc/redis.confpidfile /var/run/redis.pidlogfile /usr/local/redis/var/redis.logport 阅读全文
摘要：
转发自：http://www.geekso.com/ZendStudio9-key/ 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com Mysql性能优化教程Mysql执行优化认识数据索引为什么使用数据索引能提高效率关系型数据库的数据索引（Btree及常见索引结构）的存储是有序的。在有序的情况下，通过索引查询一个数据是无需遍历索引记录的关系型数据库数据索引的查询效率趋近于二分法查询效率，趋近于log2(N)。极端情况下（更新请求少，更新实时要求低，查询请求频繁），建立单向有序序列可替代数据索引。HASH索引的查询效率是寻址操作，趋近于1次查询，比有序索引查询效率更高，但是不支持比对查询，区间查询，排序等操作，仅支持key-value类型查询。不是本文重点 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com博客已经搬家，请访问如下地址：http://www.czhphp.com 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.comvsftpd 虚拟用户：准备：保证已经安装了vsftpd和db4-utilsrqm -qa | grep vsftpdrpm -qa | grep db4-utils本地数据文件方式：Step 1) Create the virtual users database.cd /etc/vsftpd/touch logins.txtecho 'tom' >> logins.txtecho '123' >> logins.txtecho 'lucy' > 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com一.几个参数调整： 0：文件上传时存放文件的临时目录。必须是 PHP 进程所有者用户可写的目录。如果未指定则 PHP 使用系统默认值php.ini文件中upload_tmp_dir用来说明PHP上传的文件放置的临时目录。要想上传文件，得保证服务器没有关闭临时文件和有对文件夹的写权限1：max_execution_time变量max_execution_time设置了在强制终止脚本前PHP等待脚本执行完毕的时间，此时间以秒计算。当脚本进入了一个无限循环状态时此变量非常有用。然而，当存在一个需要很长时间完成的合法活动时（例如上 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com一：环境说明： LVS-NAT-Master： 192.168.5.132 LVS-NAT-Backup： 192.168.5.129 VIP: 192.168.5.130 VIP2: 192.168.1.101 RealServer1： 192.168.1.102 RealServer1： 192.168.1.103 Centos：5.7 二：安装LVS和Keepalvied软件包 1. 下载相关软件包 mkdir /usr/local/src/lvs cd /usr/local/src/lvs wget ht... 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com一：环境说明： LVS-DR-Master： 10.3.0.82 LVS-DR-Backup： 10.3.0.70 VIP: 10.3.0.60 RealServer1： 10.3.0.69 RealServer1： 10.3.0.83 Centos：5.7 二：安装LVS和Keepalvied软件包 1. 下载相关软件包 mkdir /usr/local/src/lvs cd /usr/local/src/lvs wget http://www.linuxvirtualserver.org/software/ke... 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com为了阐述方便，我根据官方原理图另外制作了一幅图，如下图所示：VS/DR的体系结构：我将结合这幅原理图及具体的实例来讲解一下LVS-DR的原理，包括数据包、数据帧的走向和转换过程。官方的原理说明：Director接收用户的请求，然后根据负载均衡算法选取一台realserver，将包转发过去，最后由realserver直接回复给用户。实例场景设备清单：说明：我这里为了方便，client是与vip同一网段的机器。如果是外部的用户访问，将client替换成gateway即可，因为IP包头是不变的，变的只是源mac地址。①clien 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com关于lnmp一键安装包的nginx 502 Bad Gateway错误第一种原因：目前lnmp一键安装包比较多的问题就是502 Bad Gateway，大部分情况下原因是在安装php前，脚本中某些lib包可能没有安装上，造成php没有编译安装成功。 解决方法： 可以尝试根据lnmp一键安装包中的脚本手动安装一下，看看是什么错误导致的，在网上搜索一下，或者把错误信息发上来。我们给你分析一下错误原因。 第二种原因： 在php.ini里，eaccelerator配置项一定要放在Zend Optimizer配置之前，否则也可能.. 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.comwindow下要支持memcache，同时要安装memcache服务器端,和客户端：memcache服务器端下载,memcache客户端下载,首先把服务器端下载下来解压到D 盘目录D:\memcached-1.2.1-win32，CMD里执行命令：C/C++ Code复制内容到剪贴板cdD:\memcached-1.2.1-win32 memcached.exe-uadministator-dinstall netstart"memcachedserver"会出现如图： 说明memcache服务器安装成 阅读全文
摘要：
博客已经搬家，请访问如下地址：http://www.czhphp.com：硬架构1：机房的选择：在选择机房的时候，根据网站用户的地域分布，可以选择网通或电信机房，但更多时候，可能双线机房才是合适的。越大的城市，机房价格越贵，从成本的角度看可以在一些中小城市托管服务器，比如说广州的公司可以考虑把服务器托管在东莞，佛山等地，不是特别远，但是价格会便宜很多。2：带宽的大小：通常老板花钱请我们架构网站的时候，会给我们提出一些目标，诸如网站每天要能承受100万PV的访问量等等。这时我们要预算一下大概需要多大的带宽，计算带宽大小主要涉及两个指标（峰值流量和页面大小），我们不妨在计算前先做出必要的假设：第一 阅读全文