11 2016 档案
摘要:1 查看nproc(max user processes)命令 2 修改nproc 临时修改, 重登录或重启后失效: 32768 尝试在 /etc/security/limits.conf 中加入下面的配置: 退出当前用户, 重登录或重启后, 查看发现配置仍然失效. 继续尝试在 /etc/secur
阅读全文
摘要:Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内
阅读全文
摘要:#创建表人信息表 person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STOR
阅读全文
摘要:最近在学习使用Hive(版本0.13.1)的过程中,发现了一些坑,它们或许是Hive提倡的比关系数据库更加自由的体现(同时引来一些问题),或许是一些bug。总而言之,这些都需要使用Hive的开发人员额外注意。本文旨在列举我发现的3个通过查询语句向表中插入数据过程中的问题,希望大家注意。 为了验证接下
阅读全文
摘要:1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reduc
阅读全文
摘要:安装环境如下: 操作系统:CentOs 6.6 Hadoop 版本:CDH-5.3.0 Spark 版本:1.2 集群5个节点 node01~05 node01~03 为worker、 node04、node05为master spark HA 必须要zookeepr来做协同服务,做master主备
阅读全文
摘要:注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。 1. ResourceManager相关配置参数 (1) yarn.resourcemanager.address 参数解释:ResourceManager 对客户
阅读全文
摘要:resourcemanager启动报错,其中一个启动成功,另一个启动报8088端口被成功启动的rm占用 标红的IP:172.16.145.114为成功启动的resourcemanager,上面的报错信息是启动失败的rm(172.16.145.115)报的错 错误显示114的8088端口已经在使用,跟
阅读全文
摘要:yarn启动报错: 错误原因:8031端口是yarn.resourcemanager.resource-tracker.address的默认端口,yarn-site中没有配置这个的地址,nodemanager会默认去连接 0.0.0.0:8031 yarn.resourcemanager.resou
阅读全文
摘要:zookeeper启动报错日志: 解决办法:把 datadir目录以及目录下的文件的拥有者改为zookeeper用户和zookeeper用户组 执行命令:chown -R zookeeper:zookeeper /var/lib/zookeeper 重启成功!
阅读全文
摘要:rpm安装 下载epl源 : Download the latest epel-release rpm from:http://dl.fedoraproject.org/pub/epel/6/x86_64 执行 wget http://dl.fedoraproject.org/pub/epel/6/
阅读全文
摘要:hive创建带有中文注释的表报错; character_set_database 需要设置成“latin1” 修改数据库编码: 为了支持Hive建表时插入中文注释 需要在MySQL中做如下设置: use hive; //修改字段注释字符集 alter table COLUMNS_V2 modify
阅读全文
摘要:格式化namenode 启动namenode失败: namenode日志报错,namenode没有格式化: 原因 hdfs namenode –format "-format"中的-是中文横线,改成中文就好了格式化成功: 元数据目录已经生成了新文件: namenode成功启动: 总结:细节真的很重要
阅读全文
摘要:启动hive-metastore和hive-server2 用beeline连接hive报错 确认已经赋予了hive用户在当前主机链接数据库的权限: 查看metastore的日志,报错信息如下: 由报错信息猜想hive元数据表创建失败,通过查看mysql中hive的元数据库,果真里面一张表都没有。
阅读全文
摘要:cloudermanager安装包地址:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.0_x86_64.tar.gz, 红色部分为版本号,修改红色部分即可获取不同版本的安装包 CDH安装包地址:http://archi
阅读全文
摘要:假设有变量 var=http://www.aaa.com/123.htm. 1. # 号截取,删除左边字符,保留右边字符。 其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符 即删除 http:// 结果是 :www.aaa.com/123.htm 2
阅读全文
摘要:把服务器的ip地址写到list.txt中 然后运行 for i in `cat list.txt`;do ssh user@$i 'bash commad';done 把user替换成实际登录的用户,‘bash command’ 替换成实际要执行的命令
阅读全文
摘要:1,安装fuse 2.修改环境变量 增加如下配置: 3.创建挂载点 (要挂载到linux的本地目录) mkdir /hdfs 4.挂载 方法一:hadoop-fuse-dfs dfs://ocdp /hdfs ”ocdp“ 为集群的名称,hdfs-site.xml中nameservice的值 方法二
阅读全文