上一页 1 ··· 319 320 321 322 323 324 325 326 327 ··· 376 下一页
摘要: 1.流程示意图,如图4-6,4-7所示 图4-6 MapReduce详细工作流程(一) 图4-7 MapReduce详细工作流程(二) 2.流程详解 上面的流程是整个MapReduce最全工作流程,但是Shuffle过程只是从第7步开始到第16步结束,具体Shuffle过程详解,如下: 1)MapT 阅读全文
posted @ 2020-07-18 22:20 秋华 阅读(334) 评论(0) 推荐(0) 编辑
摘要: 1 查看多台机器jps脚本 1)创建vim jpsall atguigu@hadoop102:cd /opt/module/hadoop-2.8.5/bin$ 2) #!/bin/bash for ((host=102;host<105;host++)); do echo hadoop$host s 阅读全文
posted @ 2020-07-18 15:29 秋华 阅读(444) 评论(0) 推荐(0) 编辑
摘要: 解决办法1: [root@djt002 hadoop]# vi /etc/selinux/config 改为 SELINUX=disabled 解决办法2: 查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好 解决办法3: 必须 阅读全文
posted @ 2020-07-18 14:34 秋华 阅读(761) 评论(0) 推荐(0) 编辑
摘要: 在配置hadoop集群时,时间同步是必须要做的,否则会出现各种意想不到的问题。 hadoop102 为 ntp server,hadoop103以及hadoop104 为ntp client(即需要同步时间机器) 1.全部机器都要安装ntp以及ntpdate sudo apt-get install 阅读全文
posted @ 2020-07-18 14:31 秋华 阅读(1379) 评论(0) 推荐(0) 编辑
摘要: hadoop集群通过web管理界面只显示一个节点,但每台机器datanode都启动了 datanode日志; java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Nati 阅读全文
posted @ 2020-07-18 01:04 秋华 阅读(2066) 评论(0) 推荐(0) 编辑
摘要: 1.7 KeyValueTextInputFormat使用案例 1.需求 统计输入文件中每一行的第一个单词相同的行数。 (1)输入数据 banzhang ni hao xihuan hadoop banzhang banzhang ni hao xihuan hadoop banzhang (2)期 阅读全文
posted @ 2020-07-16 23:30 秋华 阅读(271) 评论(0) 推荐(0) 编辑
摘要: 0 简介 1 切片与MapTask并行度决定机制 1.问题引出 MapTask的并行度决定Map阶段的任务处理并发度,进而影响到整个Job的处理速度。 思考:1G的数据,启动8个MapTask,可以提高集群的并发处理能力。那么1K的数据,也启动8个MapTask,会提高集群性能吗?MapTask并行 阅读全文
posted @ 2020-07-16 23:21 秋华 阅读(349) 评论(0) 推荐(0) 编辑
摘要: 1 序列化概述 2 自定义bean对象实现序列化接口(Writable) 在企业开发中往往常用的基本序列化类型不能满足所有需求,比如在Hadoop框架内部传递一个bean对象,那么该对象就需要实现序列化接口。 具体实现bean对象序列化步骤如下7步。 (1)必须实现Writable接口 (2)反序列 阅读全文
posted @ 2020-07-16 23:12 秋华 阅读(264) 评论(0) 推荐(0) 编辑
摘要: 1 MapReduce定义 MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。 2 MapReduce优缺点 阅读全文
posted @ 2020-07-16 22:54 秋华 阅读(286) 评论(0) 推荐(0) 编辑
摘要: 1 集群间数据拷贝 1.scp实现两个远程主机之间的文件复制 scp -r hello.txt root@hadoop103:/user/atguigu/hello.txt // 推 push scp -r root@hadoop103:/user/atguigu/hello.txt hello.t 阅读全文
posted @ 2020-07-16 22:43 秋华 阅读(239) 评论(0) 推荐(0) 编辑
上一页 1 ··· 319 320 321 322 323 324 325 326 327 ··· 376 下一页