11 2016 档案

摘要:1 查看nproc(max user processes)命令 2 修改nproc 临时修改, 重登录或重启后失效: 32768 尝试在 /etc/security/limits.conf 中加入下面的配置: 退出当前用户, 重登录或重启后, 查看发现配置仍然失效. 继续尝试在 /etc/secur 阅读全文
posted @ 2016-11-29 15:15 记忆残留 阅读(4170) 评论(0) 推荐(0) 编辑
摘要:Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内 阅读全文
posted @ 2016-11-23 22:43 记忆残留 阅读(2894) 评论(0) 推荐(0) 编辑
摘要:#创建表人信息表 person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STOR 阅读全文
posted @ 2016-11-23 21:34 记忆残留 阅读(1778) 评论(0) 推荐(0) 编辑
摘要:最近在学习使用Hive(版本0.13.1)的过程中,发现了一些坑,它们或许是Hive提倡的比关系数据库更加自由的体现(同时引来一些问题),或许是一些bug。总而言之,这些都需要使用Hive的开发人员额外注意。本文旨在列举我发现的3个通过查询语句向表中插入数据过程中的问题,希望大家注意。 为了验证接下 阅读全文
posted @ 2016-11-23 21:11 记忆残留 阅读(24355) 评论(0) 推荐(0) 编辑
摘要:1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reduc 阅读全文
posted @ 2016-11-22 21:05 记忆残留 阅读(251) 评论(0) 推荐(0) 编辑
摘要:安装环境如下: 操作系统:CentOs 6.6 Hadoop 版本:CDH-5.3.0 Spark 版本:1.2 集群5个节点 node01~05 node01~03 为worker、 node04、node05为master spark HA 必须要zookeepr来做协同服务,做master主备 阅读全文
posted @ 2016-11-19 01:04 记忆残留 阅读(2154) 评论(0) 推荐(0) 编辑
摘要:注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。 1. ResourceManager相关配置参数 (1) yarn.resourcemanager.address 参数解释:ResourceManager 对客户 阅读全文
posted @ 2016-11-18 22:19 记忆残留 阅读(3002) 评论(0) 推荐(1) 编辑
摘要:resourcemanager启动报错,其中一个启动成功,另一个启动报8088端口被成功启动的rm占用 标红的IP:172.16.145.114为成功启动的resourcemanager,上面的报错信息是启动失败的rm(172.16.145.115)报的错 错误显示114的8088端口已经在使用,跟 阅读全文
posted @ 2016-11-18 21:59 记忆残留 阅读(3275) 评论(0) 推荐(0) 编辑
摘要:yarn启动报错: 错误原因:8031端口是yarn.resourcemanager.resource-tracker.address的默认端口,yarn-site中没有配置这个的地址,nodemanager会默认去连接 0.0.0.0:8031 yarn.resourcemanager.resou 阅读全文
posted @ 2016-11-16 21:33 记忆残留 阅读(6896) 评论(0) 推荐(0) 编辑
摘要:zookeeper启动报错日志: 解决办法:把 datadir目录以及目录下的文件的拥有者改为zookeeper用户和zookeeper用户组 执行命令:chown -R zookeeper:zookeeper /var/lib/zookeeper 重启成功! 阅读全文
posted @ 2016-11-16 12:46 记忆残留 阅读(5151) 评论(0) 推荐(1) 编辑
摘要:rpm安装 下载epl源 : Download the latest epel-release rpm from:http://dl.fedoraproject.org/pub/epel/6/x86_64 执行 wget http://dl.fedoraproject.org/pub/epel/6/ 阅读全文
posted @ 2016-11-16 00:13 记忆残留 阅读(4293) 评论(0) 推荐(0) 编辑
摘要:hive创建带有中文注释的表报错; character_set_database 需要设置成“latin1” 修改数据库编码: 为了支持Hive建表时插入中文注释 需要在MySQL中做如下设置: use hive; //修改字段注释字符集 alter table COLUMNS_V2 modify 阅读全文
posted @ 2016-11-15 10:57 记忆残留 阅读(3913) 评论(0) 推荐(0) 编辑
摘要:格式化namenode 启动namenode失败: namenode日志报错,namenode没有格式化: 原因 hdfs namenode –format "-format"中的-是中文横线,改成中文就好了格式化成功: 元数据目录已经生成了新文件: namenode成功启动: 总结:细节真的很重要 阅读全文
posted @ 2016-11-14 23:51 记忆残留 阅读(17161) 评论(0) 推荐(0) 编辑
摘要:启动hive-metastore和hive-server2 用beeline连接hive报错 确认已经赋予了hive用户在当前主机链接数据库的权限: 查看metastore的日志,报错信息如下: 由报错信息猜想hive元数据表创建失败,通过查看mysql中hive的元数据库,果真里面一张表都没有。 阅读全文
posted @ 2016-11-14 23:37 记忆残留 阅读(15466) 评论(2) 推荐(2) 编辑
摘要:cloudermanager安装包地址:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.0_x86_64.tar.gz, 红色部分为版本号,修改红色部分即可获取不同版本的安装包 CDH安装包地址:http://archi 阅读全文
posted @ 2016-11-11 12:54 记忆残留 阅读(2001) 评论(0) 推荐(0) 编辑
摘要:假设有变量 var=http://www.aaa.com/123.htm. 1. # 号截取,删除左边字符,保留右边字符。 其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符 即删除 http:// 结果是 :www.aaa.com/123.htm 2 阅读全文
posted @ 2016-11-04 17:50 记忆残留 阅读(113821) 评论(0) 推荐(3) 编辑
摘要:把服务器的ip地址写到list.txt中 然后运行 for i in `cat list.txt`;do ssh user@$i 'bash commad';done 把user替换成实际登录的用户,‘bash command’ 替换成实际要执行的命令 阅读全文
posted @ 2016-11-01 23:27 记忆残留 阅读(2146) 评论(0) 推荐(0) 编辑
摘要:1,安装fuse 2.修改环境变量 增加如下配置: 3.创建挂载点 (要挂载到linux的本地目录) mkdir /hdfs 4.挂载 方法一:hadoop-fuse-dfs dfs://ocdp /hdfs ”ocdp“ 为集群的名称,hdfs-site.xml中nameservice的值 方法二 阅读全文
posted @ 2016-11-01 18:43 记忆残留 阅读(8111) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示