2019年11月22日
大数据常用端口号
摘要： 组件端口及说明 CDH 7180： Cloudera Manager WebUI端口7182： Cloudera Manager Server 与 Agent 通讯端口 Hadoop 50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS R 阅读全文
posted @ 2019-11-22 20:10 啊啊啊啊鹏 阅读(995) 评论(0) 推荐(0) 编辑
CDH端口号
摘要： 阅读全文
posted @ 2019-11-22 20:03 啊啊啊啊鹏 阅读(823) 评论(0) 推荐(0) 编辑
hive中parquet和SEQUENCEFILE区别
摘要： TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的；并且SEQUENCEFILE是存储为二进制文件 ORC和PARQUET是基于列式存储的。 ORC是列式存储，RC是行式存储 目录 概述 hive文件存储格式包括以下几类 一、TEXTFILE 二、SEQUENCEFILE 三、RC 阅读全文
posted @ 2019-11-22 17:35 啊啊啊啊鹏 阅读(5751) 评论(1) 推荐(0) 编辑
关于Hadoop读文件的并行度
摘要： 等于切片个数，默认128M一片，无限制，一片一个map() 阅读全文
posted @ 2019-11-22 09:32 啊啊啊啊鹏 阅读(303) 评论(0) 推荐(0) 编辑
hadoop公平调度器与容量调度器区别
摘要： 公平调度器：多队列，同一时间队列中多任务按照缺额执行，队列并行度大于队列个数 容量调度器：多队列，同一时间队列中只有一个任务执行，队列中按照先进先出分配任务，队列并行度等于队列个数。 Hadoop2.7.2默认容量调度器 阅读全文
posted @ 2019-11-22 09:31 啊啊啊啊鹏 阅读(1764) 评论(0) 推荐(0) 编辑
1 2