SYSTEM ADMINISTRATION

阿里云yum源

摘要： wget -O /etc/yum.repos.d/CentOS-Base-aliyun.repo http://mirrors.aliyun.com/repo/Centos-6.repo参考：http://theo.im/blog/2014/05/20/use-aliyun-mirror-to-bo... 阅读全文

posted @ 2015-08-07 13:51 SYSTEM ADMINISTRATION 阅读(244) 评论(0) 推荐(0) 编辑

webhdfs追加写HDFS异常

摘要：问题{:timestamp=>"2015-03-04T00:02:47.224000+0800", :message=>"Retrying webhdfs write for multiple times. Maybe you should increase retry_interval or re... 阅读全文

posted @ 2015-03-04 00:09 SYSTEM ADMINISTRATION 阅读(990) 评论(0) 推荐(0) 编辑

添加crontab为什么要重定向输出到/dev/null

摘要：如果crontab不重定向输出，并且crontab所执行的命令有输出内容的话，是一件非常危险的事情。因为该输出内容会以邮件的形式发送给用户，内容存储在邮件文件/var/spool/mail/$user如果命令执行比较频繁（如每分钟一次），或者命令输出内容较多，会使这个邮件文件不断追加内容，文件越来越... 阅读全文

posted @ 2015-02-25 11:23 SYSTEM ADMINISTRATION 阅读(3164) 评论(0) 推荐(0) 编辑

编译hadoop

摘要：基于操作系统CentOS 6.4 basic server版，编译hadoop版本2.5.21. 下载hadoop源代码包$ wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2-src.tar.gz2... 阅读全文

posted @ 2015-01-12 13:46 SYSTEM ADMINISTRATION 阅读(168) 评论(0) 推荐(0) 编辑

安全删除mysql binlog日志

摘要：命令行下执行show binary logs;purge binary logs to 'mysql-bin.000070'; 阅读全文

posted @ 2015-01-12 09:46 SYSTEM ADMINISTRATION 阅读(158) 评论(0) 推荐(0) 编辑

通过外网IP访问内网

摘要：外网服务器：外网IP1，内网IP192.168.2.156内网服务器：内网IP192.168.2.206通过访问外网服务器8083端口，转发到内网服务器的8083端口。在外网服务器设置映射规则：echo 1 > /proc/sys/net/ipv4/ip_forwardiptables -t nat... 阅读全文

posted @ 2014-12-22 15:59 SYSTEM ADMINISTRATION 阅读(1621) 评论(0) 推荐(0) 编辑

启用ntp服务

摘要： 1. 主服务器修改配置vi /etc/ntp.conf restrict 192.168.2.0 mask 255.255.255.0 nomodify notrap #允许别的服务器同步 server 0.centos.pool.ntp.org iburst #主服务器自己的同步源启动服务 s 阅读全文

posted @ 2014-09-17 17:19 SYSTEM ADMINISTRATION 阅读(570) 评论(0) 推荐(0) 编辑

安装hadoop

摘要：生成yum源cd/var/ftp/pub/cdh/5createrepo --update .从节点yum clean all配置yum库/etc/yum.repos.d# cat /etc/yum.repos.d/cloudera-cdh.repo [hadoop]name=hadoopbaseu... 阅读全文

posted @ 2014-07-29 16:33 SYSTEM ADMINISTRATION 阅读(948) 评论(0) 推荐(0) 编辑

安装cloudera

摘要： 1. 查看selinux状态$ /usr/sbin/getenforceEnforcing$ /usr/sbin/sestatusSELinux status: enabledSELinuxfs mount: /selinuxCurren... 阅读全文

posted @ 2014-07-24 13:09 SYSTEM ADMINISTRATION 阅读(227) 评论(0) 推荐(0) 编辑

摘要： [hadoop@lab02 ~]$ uname -aLinux lab02 2.6.18-194.el5 #1 SMP Tue Mar 16 21:52:39 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux[hadoop@lab02 ~]$ hadoop dfsadmin -upgradeProgress statusThere are no upgrades in progress.备份相关信息hadoop fs -lsr / > namenode_lsr.loghadoop fsck / > namenode_fsck.lognohup rsyn 阅读全文

posted @ 2013-10-24 23:35 SYSTEM ADMINISTRATION 阅读(304) 评论(0) 推荐(0) 编辑