2016 年 10月随笔档案 - 岚天逸见

10 2016 档案

摘要：1) 配置HDFS HttpFS和WebHDFS如果HDFS是HA方式部署的，则只能使用HttpFS，而不能用WebHDFS。2) 安装依赖：apr-iconv-1.2.1confuse-3.0apr-util-1.5.4libpng-1.6.26apr-1.5.2 ... 阅读全文

posted @ 2016-10-28 18:16 岚天逸见阅读(523) 评论(0) 推荐(0) 编辑

摘要：HDFS支持两种RESTful接口：WebHDFS和HttpFS。WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。WebHDFS模式客户端... 阅读全文

posted @ 2016-10-28 18:15 岚天逸见阅读(2960) 评论(0) 推荐(0) 编辑

摘要：目录目录 11. 约定 12. 安装jdk 13. 安装maven 14. 网络配置 24.1. eclipse 34.2. maven 35. 从hbase官网下载源代码包： 46. eclipse导入hbase源代码 47. 编译hbase-thrift 68. ... 阅读全文

posted @ 2016-10-25 17:26 岚天逸见阅读(650) 评论(0) 推荐(0) 编辑

摘要：如果在运行spark-sql时遇到如下这样的错误，可能是因为yarn-site.xml中的配置项yarn.nodemanager.vmem-pmem-ratio值偏小，它的默认值为2.1，可以尝试改大一点再试。ERROR cluster.YarnClientSche... 阅读全文

posted @ 2016-10-13 11:01 岚天逸见阅读(925) 评论(0) 推荐(0) 编辑