摘要：
添加白名单和黑名单 白名单，表示在白名单的主机IP地址可以用来存储数据 企业中；配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下：原文：sw-code 1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录创建whitelist和blac 阅读全文
摘要：
需求分析 如下两张输入表格 order表 id pid amount 1001 01 1 1002 02 2 1003 03 3 1004 01 4 1005 02 5 1006 03 6 pd表 pid pname 01 小米 02 华为 03 格力 将商品信息表中数据根据商品pid合并的订单数据 阅读全文
摘要：
Yarn状态的查询，除了可以在hadoop103:8088页面查看以外，还可以通过命令操作。常见的命令操作如下所示。 需求：执行WordCount案例，并通过Yarn命令查看任务运行情况。原文：sw-code # 启动集群 [hadoop@hadoop102 bin]$ myhadoop.sh st 阅读全文
摘要：
测试HDFS写性能 原文：sw-code 1）写测试的原理 2）测试内容：向HDFS集群写10个128MB的文件（3个机器每个4核，2 * 4 = 8 < 10 < 3 * 4 =12） [hadoop@hadoop103 ~]$ hadoop jar /opt/module/hadoop-3.1. 阅读全文
摘要：
上篇文章讲解了怎么使用Kotlin的协程配合Retrofit发起网络请求，使用也是非常方便，但是在处理请求异常还不是很人性化。这篇文章，我们将处理异常的代码进行封装，以便对异常情况返回给页面，提供更加友好的提示。 编写拓展方法 我们写一个扩展（全局）方法，就叫ViewModelExt.kt，在下面创 阅读全文
摘要：
上个文章对集群进行了必要的配置并成功启动集群，这篇文章，我们补充一些常用的知识点 集群启动/停止方式总结 各模块分开启动/停止 1、整体启动/停止HDFS start-dfs.sh/stop-dfs.sh 2、整体启动/停止YARN start-yarn.sh/stop-yarn.sh 各服务组件逐 阅读全文
摘要：
上篇文章通过克隆将集群搭建出来，这篇文章对Hadoop进行配置，修改配置文件，启动并测试集群。开去历史服务器以及日志聚集。 部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode、DataNode DataNode SencondNameNode、DataN 阅读全文
摘要：
上个文章搭建了一个Hadoop主机，我们用该主机进行主机克隆 克隆主机 利用VMware的克隆功能，克隆出hadoop102、hadoop103、hadoop104三台主机 克隆完成后，记得修改文件（root用户下） vim /etc/sysconfig/network-scripts/ifcfg- 阅读全文
摘要：
大数据集群经常涉及文件拷贝，我在学习大数据时总结了几种方式 三台主机：192.168.10.100、192.168.10.101、192.168.10.102有一个一样的用户：swcode 做过映射关系： hadoop100 192.168.10.100 hadoop101 192.168.10.1 阅读全文
摘要：
工具准备 1、VMware 2、CentOS 7 最小安装版 3、远程工具推荐使用 FinalShell 安装系统 1、打开VMware，根据自己的情况配置好虚拟机，选择系统镜像就可以安装了，可自行百度“VMware如何安装CentOS” 2、打开虚拟机后，选中Test this media & i 阅读全文