上一页 1 ··· 4 5 6 7 8 9 10 11 12 13 下一页
摘要: 1. Read的一些选项 Read可以带有-a, -d, -e, -n, -p, -r, -t, 和 -s八个选项。 -a :将内容读入到数值中 -d : 表示delimiter,即定界符,一般情况下是以IFS为参数的间隔,但是通过-d,我们可以定义一直读到出现执行的字符位置。例如read –d m 阅读全文
posted @ 2016-10-25 17:04 记忆残留 阅读(16161) 评论(0) 推荐(0) 编辑
摘要: ResourceManager高可用配置 1. yarn-site.xml配置 <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-ha</value> </property> <property> <name>ya 阅读全文
posted @ 2016-10-24 16:19 记忆残留 阅读(1490) 评论(0) 推荐(0) 编辑
摘要: 处理 复杂的要求的时候,有时一个mapreduce程序是完成不了的,往往需要多个mapreduce程序,这个时候就要牵扯到各个任务之间的依赖关系,所谓 依赖就是一个MR Job 的处理结果是另外的MR 的输入,以此类推,完成几个mapreduce程序,得到最后的结果 下面是用Mapreduce写的t 阅读全文
posted @ 2016-10-24 16:17 记忆残留 阅读(2000) 评论(0) 推荐(1) 编辑
摘要: 1,修正本地时区及ntp服务 #yum -y install ntp#rm -rf /etc/localtime#ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime#/usr/sbin/ntpdate -u pool.ntp.org2,自动同 阅读全文
posted @ 2016-10-24 16:15 记忆残留 阅读(535) 评论(0) 推荐(0) 编辑
摘要: mysqlimport -h 172.16.145.125 -u ocetl -pocetl test --fields-terminated-by='|' '/home/ocetl/tmp_user_info.txt' --columns='user_id,user_name,user_age,u 阅读全文
posted @ 2016-10-21 14:34 记忆残留 阅读(8959) 评论(0) 推荐(0) 编辑
摘要: 启动hivemetastore hive --service metastore 启动hiveserver2 hive --service hiveserver2 beeline !connect jdbc:hive2://172.16.145.124:10000 hive hive 后台运行 hi 阅读全文
posted @ 2016-10-19 17:39 记忆残留 阅读(11073) 评论(0) 推荐(0) 编辑
摘要: 1.查进程 ps命令查找与进程相关的PID号: ps a 显示现行终端机下的所有程序,包括其他用户的程序。 ps -A 显示所有程序。 ps c 列出程序时,显示每个程序真正的指令名称,而不包含路径,参数或常驻服务的标示。 ps -e 此参数的效果和指定"A"参数相同。 ps e 列出程序时,显示每 阅读全文
posted @ 2016-10-17 22:09 记忆残留 阅读(12132) 评论(0) 推荐(1) 编辑
摘要: 可以使用ps命令。它能显示当前运行中进程的相关信息,包括进程的PID。Linux和UNIX都支持ps命令,显示所有运行中进程的相关信息。 ps命令能提供一份当前进程的快照。如果想状态可以自动刷新,可以使用top命令。 ps命令 输入下面的ps命令,显示所有运行中的进程: 其中, -A:显示所有进程 阅读全文
posted @ 2016-10-17 22:06 记忆残留 阅读(572085) 评论(0) 推荐(2) 编辑
摘要: 查看某一端口的占用情况: lsof -i:端口号 前提:首先你必须知道,端口不是独立存在的,它是依附于进程的。某个进程开启,那么它对应的端口就开启了,进程关闭,则该端口也就关闭了。下次若某个进程再次开启,则相应的端口也再次开启。而不要纯粹的理解为关闭掉某个端口,不过可以禁用某个端口。 1. 可以通过 阅读全文
posted @ 2016-10-17 21:44 记忆残留 阅读(77724) 评论(0) 推荐(1) 编辑
摘要: 我们在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的目录下,向该目录添加新文件的同时,该表也会读取到该文件(当然文件格式必须跟表定义的一致),删除外部表的同时并不会删除location指定目录下的文件. 1.查看hdfs系统目录/user/hado 阅读全文
posted @ 2016-10-17 15:02 记忆残留 阅读(3582) 评论(0) 推荐(0) 编辑
上一页 1 ··· 4 5 6 7 8 9 10 11 12 13 下一页