随笔 - 126 文章 - 0 评论 - 5 阅读 - 94759

随笔分类 - 大数据

摘要：1，环境配置： a, 安装 java jdk jdk-8u181-windows-x64.exe(http://www.oracle.com/technetwork/java/javase/downloads/index.html) 添加系统环境 b,安装scala scala-2.11.8.zip 阅读全文

posted @ 2020-01-11 16:16 大鹏的鸿鹄之志阅读(480) 评论(0) 推荐(0) 编辑

实时计算

摘要：canal的作用？阅读全文

posted @ 2019-12-20 00:46 大鹏的鸿鹄之志阅读(130) 评论(0) 推荐(0) 编辑

昵称：大鹏的鸿鹄之志
园龄： 9年4个月
粉丝： 3
关注： 12

+加关注

<

2025年3月

>

日

一

二

三

四

五

六

23

24

25

26

27

28

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

1

2

3

4

5

随笔分类

随笔档案

阅读排行榜

评论排行榜

最新评论

1. Re:MR运行流程
这块我有一个疑问,楼主,为啥reduce端不用环形缓冲区呢?用环形缓冲区应该也没问题吧
--dachun777
2. Re:MR运行流程
感谢up主,解决了我的疑问,reduce端的缓冲区的问题,被这个问题困扰了好久了
--dachun777
3. Re:Hadoop
client和namenode之间是通过rpc通信；
datanode和namenode之间是通过rpc通信；
client和datanode之间是通过简单的socket通信。
--大鹏的鸿鹄之志
4. Re:Hadoop
Hadoop是怎么保证不同的副本会在不同的机器上的？
--大鹏的鸿鹄之志
5. Re:hive调优
本章只是从HQL层面介绍一下，日常开发HQL中需要注意的一些优化点，不涉及Hadoop层面的参数、配置等优化。其中大部分是我之前发过的博客文章，这里整理了下。11.1 使用分区剪裁、列剪裁在SELEC...
--pengh