数据盟

2015年12月30日

摘要： /data01/disk目录太大导致/data01分区被占满1.先把/data01/disk目录挪到/data02分区，这个时候/data01下面disk目录已经没有了mv /data01/disk /data022.把空间被占满的目录/data01/disk软连接到空闲目录/data02/disk... 阅读全文

posted @ 2015-12-30 16:13 数据盟阅读(279) 评论(0) 推荐(0) 编辑

2015年12月23日

raid

摘要： raid10读快写快；raid5RAID5的读取速度=（RAID0的磁盘个数N-1）x普通单个硬盘读取速度；RAID5的写入速度略小于普通单个硬盘写入速度；阅读全文

posted @ 2015-12-23 20:02 数据盟阅读(155) 评论(0) 推荐(0) 编辑

2015年11月22日

HADOOP笔记

摘要： ZKFC高可用模式下查看hdfs-namenode的主备状态：hdfs haadmin -getServiceState nn1hdfs haadmin -getServiceState nn2手工实现主备切换：hdfs haadmin -failover --forcefence --forcea... 阅读全文

posted @ 2015-11-22 19:26 数据盟阅读(140) 评论(0) 推荐(0) 编辑

网络工具汇总

摘要： 1.查看网卡是千兆还是百兆# ethtool eth1Settings for eth1: Supported ports: [ TP ] Supported link modes: 10baseT/Half 10baseT/Full ... 阅读全文

posted @ 2015-11-22 18:15 数据盟阅读(142) 评论(0) 推荐(0) 编辑

2015年11月20日

网卡流量监控脚本

摘要： #!/bin/bashwhile [ "1" ]doeth=$1RXpre=$(cat /proc/net/dev | grep $eth | tr : " " | awk '{print $2}')TXpre=$(cat /proc/net/dev | grep $eth | tr : " " |... 阅读全文

posted @ 2015-11-20 19:33 数据盟阅读(282) 评论(0) 推荐(0) 编辑

2015年11月18日

如何增大UDP收包效率

摘要：参考文章http://ref.onixs.biz/lost-multicast-packets-troubleshooting.htmlOperating system kernel network buffers tuning操作系统内核网络缓冲区调优LinuxRun thesysctl -A |... 阅读全文

posted @ 2015-11-18 21:23 数据盟阅读(2157) 评论(0) 推荐(0) 编辑

2015年11月17日

spark笔记

摘要：运行任务的时候，有一些中间数据需要写集群的worker的目录，默认是写/tmp目录spark-env.sh 增加export SPARK_WORKER_DIR=/data/spark/workexport SPARK_LOCAL_DIRS=/data/spark/data需要先创建好目录给777权限... 阅读全文

posted @ 2015-11-17 10:46 数据盟阅读(126) 评论(0) 推荐(0) 编辑

2015年11月16日

报表制作开源工具hcharts

摘要： http://www.hcharts.cn/ 阅读全文

posted @ 2015-11-16 20:44 数据盟阅读(139) 评论(0) 推荐(0) 编辑

shell脚本的几个参数

摘要： $0 这个程式的执行名字$n 这个程式的第n个参数值，n=1..9$* 这个程式的所有参数,此选项参数可超过9个。$# 这个程式的参数个数$$ 这个程式的PID(脚本运行的当前进程ID号)$! 执行上一个背景指令的PID(后台运行的最后一个进程的进程ID号)$? 执行上一个指令的返回值 (显示最后命... 阅读全文

posted @ 2015-11-16 20:41 数据盟阅读(1126) 评论(0) 推荐(0) 编辑

公告