记忆残留

2016年11月14日

摘要：格式化namenode 启动namenode失败： namenode日志报错,namenode没有格式化：原因 hdfs namenode –format "-format"中的-是中文横线，改成中文就好了格式化成功：元数据目录已经生成了新文件: namenode成功启动：总结：细节真的很重要阅读全文

posted @ 2016-11-14 23:51 记忆残留阅读(17056) 评论(0) 推荐(0) 编辑

hive 未初始化元数据库报错

摘要：启动hive-metastore和hive-server2 用beeline连接hive报错确认已经赋予了hive用户在当前主机链接数据库的权限：查看metastore的日志，报错信息如下：由报错信息猜想hive元数据表创建失败，通过查看mysql中hive的元数据库，果真里面一张表都没有。阅读全文

posted @ 2016-11-14 23:37 记忆残留阅读(15413) 评论(2) 推荐(2) 编辑

2016年11月11日

CDH离线安装之安装包下载地址

摘要： cloudermanager安装包地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.0_x86_64.tar.gz，红色部分为版本号，修改红色部分即可获取不同版本的安装包 CDH安装包地址：http://archi 阅读全文

posted @ 2016-11-11 12:54 记忆残留阅读(1975) 评论(0) 推荐(0) 编辑

2016年11月4日

shell脚本字符串截取的8种方法

摘要：假设有变量 var=http://www.aaa.com/123.htm. 1. # 号截取，删除左边字符，保留右边字符。其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http:// 结果是：www.aaa.com/123.htm 2 阅读全文

posted @ 2016-11-04 17:50 记忆残留阅读(113088) 评论(0) 推荐(3) 编辑

2016年11月1日

在多个linux服务器上执行一个命令

摘要：把服务器的ip地址写到list.txt中然后运行 for i in `cat list.txt`;do ssh user@$i 'bash commad';done 把user替换成实际登录的用户，‘bash command’ 替换成实际要执行的命令阅读全文

posted @ 2016-11-01 23:27 记忆残留阅读(2142) 评论(0) 推荐(0) 编辑

fuse挂载hdfs目录到linux本地

摘要： 1,安装fuse 2.修改环境变量增加如下配置： 3.创建挂载点 (要挂载到linux的本地目录) mkdir /hdfs 4.挂载方法一：hadoop-fuse-dfs dfs://ocdp /hdfs ”ocdp“ 为集群的名称,hdfs-site.xml中nameservice的值方法二阅读全文

posted @ 2016-11-01 18:43 记忆残留阅读(7984) 评论(1) 推荐(0) 编辑

2016年10月30日

linux中sed用法

摘要： sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法sed命令行格式为： sed [-nefri] ‘command’ 输入文本常用选项： -n∶使用安静(silent)模式。在一般 sed 的用阅读全文

posted @ 2016-10-30 20:44 记忆残留阅读(27988) 评论(0) 推荐(2) 编辑

linux之let用法

摘要： shell程序中的操作默认都是字符串操作，在要运行数学运算符的时候可能得到意想不到的答案： var=1 var=$var+1 echo $var output：1+1 从这个例子中可以看出shell字符串连接的操作，需要注意的是空格。在shell中可以使用let来指示下面是算术表达式，let表达式阅读全文

posted @ 2016-10-30 20:43 记忆残留阅读(6269) 评论(0) 推荐(0) 编辑

在shell的if条件里,判断 a>0 且 (b>0 或 c>0) ,如何编写?

摘要： if [ $b -gt 0 -o $c -gt 0 -a $a -gt 0 ]; then.fi对shell中的关系运算符说明如下：-gt 表示greater than,大于-lt 表示less than,小于-eq 表示 equal,等于对shell中的连接符说明如下：-a 表示 and,且-o 阅读全文

posted @ 2016-10-30 20:09 记忆残留阅读(12741) 评论(0) 推荐(0) 编辑

ping 命令详解

摘要： Linux系统的ping命令是常用的网络命令，它通常用来测试与目标主机的连通性，我们经常会说“ping一下某机器，看是不是开着”、不能打开网页时会说“你先ping网关地址192.168.1.1试试”。它通过发送ICMP ECHO_REQUEST数据包到网络主机（send ICMP ECHO_REQU 阅读全文

posted @ 2016-10-30 15:04 记忆残留阅读(3603) 评论(0) 推荐(0) 编辑

公告