一、笔记本触摸板关闭方法
1、在windows下有官方驱动。
2、ubuntu下没有
操作方法如下：
１，终端操作
临时禁止触摸板：sudo modprobe -r psmouse
开启触摸板：sudo modprobe -a psmouse
永远禁用触摸板：
sudo vi /etc/modprobe.d/blacklist.conf
blacklist psmouse
那就用第二种。
２，在软件中心中搜索"pointing-device"安装，
选择disabled touched.
这样只关闭了触摸板，左右键也可用。
/etc/rc.local 加入信息 开机时刻，也可以使用
电脑安装Ubuntu 13.10 版本后，进入Ubuntu系统后鼠标指针不停的闪烁，看起来很不爽，解决办法如下
打开系统设置
选择“显示” 注：此时会看到一个内置显示器和一个未知显示器
单机“未知显示器”
在下面的选项中第一行显示该显示器已开启，单机开启，此时“未知显示器”关闭
解决完毕，鼠标不再闪烁
二、Ubuntu不显示时间
//不显示时间了 试一下
（1）pkill gnome-panel
（2）ctrl+alt+f2,登陆后 pkill gnome-session
二、关于文件解压
ZIP
zip可能是目前使用得最多的文档压缩格式。它最大的优点就是在不同的操作系统平台，比如Linux， Windows以及Mac OS，上使用。缺点就是支持的压缩率不是很高，而tar.gz和tar.gz2在压缩率方面做得非常好。闲话少说，我们步入正题吧：
我们可以使用下列的命令压缩一个目录：
# zip -r archive_name.zip directory_to_compress
下面是如果解压一个zip文档：
# unzip archive_name.zip
TAR
Tar是在Linux中使用得非常广泛的文档打包格式。它的好处就是它只消耗非常少的CPU以及时间去打包文件，他仅仅只是一个打包工具，并不负责压缩。下面是如何打包一个目录：
# tar -cvf archive_name.tar directory_to_compress
如何解包：
# tar -xvf archive_name.tar.gz
上面这个解包命令将会将文档解开在当前目录下面。当然，你也可以用这个命令来捏住解包的路径：
# tar -xvf archive_name.tar -C /tmp/extract_here/
TAR.GZ
这种格式是我使用得最多的压缩格式。它在压缩时不会占用太多CPU的，而且可以得到一个非常理想的压缩率。使用下面这种格式去压缩一个目录：
# tar -zcvf archive_name.tar.gz directory_to_compress
解压缩：
# tar -zxvf archive_name.tar.gz
上面这个解包命令将会将文档解开在当前目录下面。当然，你也可以用这个命令来捏住解包的路径：
# tar -zxvf archive_name.tar.gz -C /tmp/extract_here/
TAR.BZ2
这种压缩格式是我们提到的所有方式中压缩率最好的。当然，这也就意味着，它比前面的方式要占用更多的CPU与时间。这个就是你如何使用tar.bz2进行压缩。
# tar -jcvf archive_name.tar.bz2 directory_to_compress
上面这个解包命令将会将文档解开在当前目录下面。当然，你也可以用这个命令来捏住解包的路径：
# tar -jxvf archive_name.tar.bz2 -C /tmp/extract_here/
三、hadoop安装
/home/feng/hadoop-0.20.2/bin/hadoop namenode -format
/home/feng/hadoop-0.20.2/bin/start-all.sh
/home/feng/jdk1.6.0_45/bin/jps
bin/hadoop dfs -put ../input in
bin/hadoop dfs -ls ./in/*
bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out
bin/hadoop dfs -ls
bin/hadoop dfs -cat ./out/*
出现错误
（1）如果 ssh 127.0.0.1时，报出错误：ssh: connect to host 127.0.0.1 port 22: Connection refused
sudo apt-get install openssh-server
ps -e | grep ssh
（2）、用jps命令查看守护进程时，没有DataNode，datanode无法启动
访问http://localhost:50070，点击页面中的Namenode logs链接，在logs页面点击hadoop-hadoop-datanode-ubuntu.log 链接，查看 日志文件
网络解决方案
（1）摘要：该文档解决了多次格式化文件系统后，datanode无法启动的问题
一、问题描述
当我多次格式化文件系统时，如
root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format
会出现datanode无法启动，查看日志，发现错误为：
2012-04-20 20:39:46,501 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/gqy/hadoop/data: namenode namespaceID = 155319143; datanode namespaceID = 1036135033
二、问题产生原因
当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个 current/VERSION文件，记录namespaceID，标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存（即配置文件中dfs.data.dir在本地系统的路径） 的current/VERSION文件只是你第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不 一致。
三、解决办法
把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION中的namespaceID改为与namenode一样。
（2）、bin/hadoop dfsadmin -safemode leave 再输入
bin/hadoop dfsadmin -safemode enter 在有in目录的前提下输入 bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out
hadoop删除文件
bin/hadoop fs -rmr /user/root/in/input
hadoop:在hfds下删除文件can not found file
在浏览hdfs上面的文件的时候，要在hadoop的安装目录下
[hadoop@master hadoop-0.20.2]$bin/hadoop fs -ls
进行查看，但是想要删除hdfs里面的文件，路径就需要是hdfs的专属路径，因为hdfs的文件路径和linux的本地路径是完全两套系统
例如想删除file01文件
[hadoop@master hadoop-0.20.2]$bin/hadoop fs -rmr hdfs://master:54310/user/hadoop/file01
或
[hadoop@master hadoop-0.20.2]$bin/hadoop fs -rmr /user/hadoop/file01
其中，路径中的user是固定的，标橙色的部分是你的hadoop的相关用户
学习日记记录
通过web了解Hadoop的活动 通过用浏览器和http访问jobtracker所在节点的50030端口监控jobtracker
通过用浏览器和http访问namenode所在节点的50070端口监控集群
HDFS设计基础与目标
硬件错误是常态。
因此需要冗余 流式数据访问，即数据批量读取而非随机对写，Hadoop擅长做的是数据分析而不是事务处理 大规模数据集 简单一致性模型。为了降低系统复杂度，对文件采用一次性写多次读的逻辑设计，即是文件一经写入，关闭，就再也不能修改
程序采用“数据就近”原则分配节点执行
HDFS NameNode DataNode 事务日志 映像文件 SecondaryNode
Namenode 管理文件系统的命名空间
记录每个文件数据快在各个Datanode上的位置和副本信息
协调客户端对文件的访问 记录命名空间内的改动或空间本身属性的改动 Namenode使用事务日志记录HDFS数据的变化。使用映像文件存储文件系统的命名空间，包括文件映射，文件属性等
Datanode 负责所在物理节点的存储管理 一次写入，多次读取(不修改) 文件由数据块组成，典型的块大小是64MB 数据块尽量散布到各个节点
读取数据流程 客户端要访问HDFS中的一个wenj 首先从namenode获得组成这个文件的数据块位置列表 根据列表知道存储数据开的datanode 访问datanode获取数据 Namenode并不参与数据实际传输
HDFS 的可靠性 冗余副本策略 机架策略 心跳机制 安全模式 校验和 回收站 元数据保护 快照机制 冗余副本策略 可以在hdfs-site.xml中设置复制因子指定副本数量 所有数据块都有副本 Datanode启动时，遍历本地文件系统，产生一份hdfs数据块和本地文件的对应关系列表(blockreport)汇报给namenode
机架策略 集群一般放在不同机架上，机架间带宽比机架内带宽要小 HDFS的“机架感知” 一般在本地架存放一个副本，在其它机架再存放别的副本，这样可以防止机架失效时丢失数据，也可以提高带宽利用率
心 跳机制 Namenode周期性从datanode接收心跳信号和块报告 Namenode根据块报告验证元数据 没有按时发送心跳的datanode会被标记为宕机，不会再给它任何I/O请求 如果datanode失效造成副本数量下降，并且低于预先设置的阈值，namenode会检测出这些数据块，并在合适的时机进行重新复制 引发重新复制的原因还包括数据副本本身损坏/ 磁盘错误，复制因子被增大等
安 全模式 Namenode启动时会先经过一个“安全模式”阶段 安全模式阶段不会产生数据写 在阶段Namenode收集各个datanode的报告，当数据块到最小副本数以上时，会被认为是“安全”的 在一定比例(可设置)的数据块被确定为“安全”后，再过若干时间，安全模式结束 当检测到副本数不足的数据块时，该块会被复制直到达到最小副本数
校验和 在文件创立时，每个文件块都产生校验和 校验和会作为单独一个隐藏文件保存在命名空间下 客户端获取数据时可以检查校验和是否相同，从而发现数据块是否损坏 如果正在读取的数据块损坏，则可以继续读取其它副本
回收站 删除文件时，其实时放入回收站/trash 回收站里的文件可以快速恢复 可以设置一个时间阈值，当回收站文件的存放时间超过这个阈值，就被彻底删除，并且释放占用的数据块
元数据保护 映像文件刚和事务日志是Namenode的核心数据，可以配置为拥有多个副本 副本会降低Namenode的处理速度，但增加安全性 Namenode依然是单点，如果发生故障要手先切换
快照 支持存储某个时间点的映像，需要时可以使数据重返这个时间点的状态 Hadoop目前还不支持，已经列入开发计划
HDFS文件操作 命令行方式 API方式
hadoop没有目录的概念，也没有cd命令 源文件 节点 bin/hadoop dfs -put ../abc abc ls -lR
HDFS文件复制到本地 bin/hadoop dfs -get abc ./xyz
删除HDFS的文档 bin/hadoop dfs -rmr abc
查看HDFS下某个文件的内容
bin/hadoop dfs -cat ./out/part-r-00000
查看HDFS基本统计信息 bin/hadoop dfsadmin -report
进入和推出安全模式 bin/hadoop dfsadmin -safemode enter bin/hadoop dfsadmin -safemode leave
ls|wc -l 查看文件大小
zcat ...........gz|less 可以看到gz文件，less可以翻屏
zcat *.gz >abc 小文件集成为大文件 abc 为大文件
input 上传文件 分解为块，将任务分解map --->shuffle 排序 压缩数据,reduce阶段 集中在某一节点，将所有的结果合并merge,所有记录放到大数据表中，最后形成最后结果，可能hdfs文件
简单没有reduce,复杂的有多个reduce
Map-reduce的思想就是“分而治之”
Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”执行
“简单的任务”有几个含义：1数据或计算规模相对于原任务要大大缩小;2就近计算，即会被分配到存放了所需数据的节点进行计算;3这些小任务可以并行计算，彼此间几乎没有依赖关系
Reducer
对map阶段的结果进行汇总
Reducer的数目由mapred-site.xml配置文件里的项目mapred.reduce.tasks决定。缺省值为1,用户可以覆盖之
Shffler
在mapper和reducer中间的一种步骤（可以没有）
可以把mapper的输出按照某种key值重新切分和组合n份，把key值符合某种范围的输出送到特定的reducer那里去处理
可以简化reducer过程
网络界面:http://192.168.1.102:50030/jobtraker.jsp
观看参数列表
http://192.168.1.102:50030/logs/
性能调优
究竟需要多少个reducer
输入：大文件优于小文件
减少网路传输：压缩map的输出
优化每个节点能运行的任务数:mapred.tasktraker.map.tasks.maximum和mapred.trasktraker.reduce.tasks.maximum(缺省值均为2)
Map-Reduce工作机制剖(pou)析
1编写好Map-Reduce程序，client node 对程序进行提交
2JobClient收到作业以后，与JobTracker联系，申请job ID，获得工作ID后，
3将源码散发出去，通过Shared FileSystem 散发到各个节点里面去
4提交作业
5JobTracker中initialize job,初始化工作，建立数据结构，记录job运行情况等等
6JobTracker会向hdfs中node 询问有关的数据在那些文件里面，文件散列在那些节点里面
7通过JobTracker与TaskTracker进行心跳联系，TaskTracker必须时能工作，负荷比较低，最好空闲节点
8定制出TaskTracker
9TaskTracker 架设运行
调度机制
缺省为先入先出作业队列调度
支持公平调度器（作业公平）
支持容量调度器
任务执行优化
推测式执行：即如果jobtracker发现有拖后腿的任务，会再启动一个相同的备份任务，然后哪个先执行完就会kill去另外一个，因此在监控网页上经常看到正常执行完的作业被kill的任务
推测执行缺省打开，但如果时代码问题，并不能解决问题，而且会使集群更慢，通过在mapred-site.xml配置文件中设置mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution可为map任务或reduce任务开启或关闭推测式执行
重启JVM，可以省去启动新的JVM消耗的时间，在mapred-site.xml配置文件中设置mpared.job.reuse.jvm.num.tasks设置单个JVM上运行的最大任务数(1,>1或-1表示没有限制)
忽略模式，任务在读取数据失败2次后，会把数据位置告诉jobtracker，后者重新启动该任务并且在遇到所记录的坏数据时直接跳过(缺省关闭，用SkipBadRecord方法打开)
错误处理机制：硬件故障
硬件故障时指jobreduce故障或tasktracker故障
jobtracker是单点，若发生故障目前hadoop还无法处理，唯有选择最牢靠的硬件作为jobtracker
Jobtracker通过心跳(周期1分钟)信号了解tasktracker是否发生故障或负载过于严重
Jobtracker将从任务节点列表中移除发生故障的tasktracker
如果故障节点在执行map任务并且尚未完成，jobtracker会要求其它节点重新执行此map任务
如果故障节点在执行reduce任务尚未完成，jobtracker会要求其它节点继续执行尚未完成的reduce任务
错误处理机制：任务失败
由于代码缺陷或进程崩溃引起任务失败
Jvm自动退出，向tasktracker父进程发送方错误信息，错误信息也会写入到日志
Tasktracker监听程序会发现进程退出，或进程很久没有更新信息送回，将任务标记为失败
标记失败任务后，人际计数器减去1以便接受鑫任务，并通过心跳信号告诉jobtracker任务失败的信息
Jobtracker获悉任务失败后，将把该任务重新放入调度队列，重新分配出去再执行
如果一个任务失败超过4次（可以设置），将不会再被执行，同时作业也宣布失败
Hadoop命令大全
hadoop.apache.org/common/docs/stable/commands_manual.html
审计日志
把log4j.properties配置文件中
log4j.logger.org.apache.hadoop.fs.FSNamesystem.audit=WARN
改为"INFO"可以打开审计日志。每个HDFS事件都会在namenode的log中写入一行记录
192.168.1.102:50070/logLevel
第三方工具
Ganglia
Chukwa
Openstack
