摘要：
最近需要写一个数据迁移脚本，将单一Oracle中的数据迁移到MySQL Sharding集群，在linux下安装cx_Oracle感觉还是有一点麻烦的，整理一下，做个总结。对于Oracle客户端，不只需要安装相应的python模块(这里我用了Oracle官方的python模块——cx_Oracle)，还需要安装Oracle Client，一般选择Instant Client就足够了，还需要配置tnsnames.ora(当然也可以简单的通过host:port/schema访问)。安装：1. 首先确定版本。因为我们的Oracle数据是在是有点老，所以我选择了一个比较老的版本——Oracle Ins 阅读全文
摘要：
1. 在 /etc/hosts.allow 写:在/etc/hosts.allow写：sshd: 1.2.3.4在 /etc/hosts.deny 写：sshd: ALL2. 用 iptables 也行:iptables -I INPUT -p tcp --dport 22 -j DROPiptables -I INPUT -p tcp --dport 22 -s 1.2.3.4 -j ACCEPT3. 禁止某个用户通过ssh登录在/etc/ssh/sshd_conf添加AllowUsers 用户名或者AllowGroups 组名或者DenyUsers 用户名4. 设定登录黑名单vi /etc 阅读全文
摘要：
1.Source catalog:1.console[("format")]控制台输出，可以带输出内容格式的参数console(“raw”)console(“json”)2.text("filename"[,format])一次读取文件内容，每一个换行做为一个事件。3.tail("filename"[,startFromEnd=false]{,delim="regex", delimMode="exclude|prev|next"})读取文件尾部内容跟linux上tail类似。Filename： 阅读全文
摘要：
一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），Store on failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送），B 阅读全文
摘要：
什么是CGI？CGI全称是“公共网关接口”(Common Gateway Interface)，简单讲是运行在WEB服务器上的一段程序。有浏览器的输入触发，这个脚本通常象服务器和系统中其他程序如数据库的桥梁。CGI脚本工作原理：浏览器通过HTML表单或超链接请求指上一个CGI应用程序的URL。服务器收发到请求。服务器执行指定所CGI应用程序。CGI应用程序执行所需要的操作，通常是基于浏览者输入的内容。CGI应用程序把结果格式化为网络服务器和浏览器能够理解的文档（通常是HTML网页）。网络服务器把结果返回到浏览器中。什么是FastCGI FastCGI像是一个常驻(long-live)型的CG. 阅读全文
摘要：
Apache服务器和nginx的优缺点：我们之前大量使用Apache来作为HTTPServer。 Apache具有很优秀的性能，而且通过模块可以提供各种丰富的功能。优点：首先Apache对客户端的响应是支持并发的，运行httpd这个daemon进程之后，它会同时产生多个孩子进程/线程，每个孩子进程/线程分别对客户端的请求进行响应；另外，Apache可以提供静态和动态的服务，例如对于PHP的解析不是通过性能较差的CGI实现的而是通过支持PHP的模块来实现的(通常为mod_php5，或者叫做apxs2)。缺点:Apache的这种Server为process-based server，也就是基于多进 阅读全文
摘要：
本次调研主要对目前主流的WEB服务器Apache/Lighttpd/Nginx下静态文件的访问进行对比。主要从性能、稳定性、简易性（安装、配置、依赖、大小）等方面入手。最后在Windows环境下，对其性能进行比较。简介1. ApacheApache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。Apache能取得如此成功并不足为奇：它免费、稳定且性能卓越；但Apache能取得如此佳绩的另一个原因是，当时互联网刚刚兴起时，Apache是第一个可用的Web应用服务器，人们没有其他的选择。对于那些需要 阅读全文
摘要：
~/.bash_profile && ~/.bashrc用户登陆Linux操作系统的时候，"/etc/profile", "~/.bash_profile"等配置文件会被自动执行。执行过程是这样的：登陆Linux系统时，首先启动"/etc/profile"，然后启动用户目录下的"~/.bash_profile"，如果"~/.bash_login"和"~/.profile"文件存在的时候也会在执行。下面看看"~/.bash_profile"文 阅读全文
摘要：
随着数据量越来越大，MFS的使用中也出现过一些问题，这里做了一些分析和总结，下面和大家分享一下：先提一下MFS出问题时出现比较频繁的两个信息：连接中断坏块问题连接中断问题在Master端会出现如下错误：mfsmaster[15861]: connection with client(ip:10.11.18.175) has been closed by peer表示客户端和master的连接中断mfsmaster[15861]: connection with ML(10.11.19.76) has been closed by peer表示Metalogger和Master的连接中断mfsm 阅读全文
摘要：
今天，报告说moosefs群的写性能就从10MB/sec 降到了3MB/sec。（读性能10MB/sec不变）查之。把MFSMASTER.CFG中默认的：CHUNKS_WRITE_REP_LIMIT = 1CHUNKS_READ_REP_LIMIT = 5改成：CHUNKS_WRITE_REP_LIMIT = 0CHUNKS_READ_REP_LIMIT = 0写入速度恢复到10MB/sec。继而改为：CHUNKS_WRITE_REP_LIMIT = 10CHUNKS_READ_REP_LIMIT = 50写入速度降到300KB/sec。这几个参数是调整moosefs往新机器均衡chunk的力 阅读全文