04 2018 档案

HDFS, YARN, HBase, Hive, ZooKeeper端口说明

摘要：件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口HDFSDataNode50475dfs.datanode. 阅读全文

posted @ 2018-04-20 16:08 爱知菜阅读(25) 评论(0) 推荐(0) 编辑

Ubuntu16.04 伪分布模式 HBase搭建

摘要：仅针对伪分布模式, 即单节点解压缩下载的编译好的安装包 tar -xzvf hbase-1.2.6-bin.tar.gz -C /opt 修改hbase安装目录的conf文件夹下的hbase-site.xml <configuration> <property> <name>hbase.rootd 阅读全文

posted @ 2018-04-19 16:52 爱知菜阅读(26) 评论(0) 推荐(0) 编辑

Hive Map side join AND Reduce side join

摘要：map-side join: map-side join顾名思义就是join的动作在map阶段完成, 不必动用reducer. 但是要用上map-side join必须满足的条件是两个join的表, 必须有一个足够小. 小到可以使用 Hadoop的 DistributedCache 功能把小表缓存到阅读全文

posted @ 2018-04-13 16:52 爱知菜阅读(39) 评论(0) 推荐(0) 编辑

Hive HQL 操作总结

摘要：hive 的log path(linux) 在 /tmp/username/ 调用hive: hive -f script.sql hive -e 'select * from table' hive --config /user/another/config/directory hive -hiv 阅读全文

posted @ 2018-04-09 17:05 爱知菜阅读(36) 评论(0) 推荐(0) 编辑