摘要: 1.首先在我们下载 Hadoop Home 目录下有 hadoop.dll 和 winutils.exe 两个文件 2.我们需要把 hadoop.dll 拷贝到系统盘 C:\Windows\System32 下,如图所示: 3.重新启动 IDEA 重新运行即可 阅读全文
posted @ 2021-09-15 22:44 duniqb 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 一、集群配置 1.规划: NameNode 和 SecondaryNameNode 不要安装在同一台服务器, ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在同一台机器上。 hadoop102 hadoop103 hadoop104 阅读全文
posted @ 2021-04-21 21:26 duniqb 阅读(241) 评论(0) 推荐(0) 编辑
摘要: 一、JDK 配置 Hadoop 运行需要依赖于 JDK 环境,下载好 Linux 版并解压到 /opt/module/jdk1.8.0_212 里 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/ 然后为 JDK 设置环境变量,在 /etc/p 阅读全文
posted @ 2021-04-19 18:19 duniqb 阅读(85) 评论(0) 推荐(0) 编辑
摘要: 一、概述 WordCount(单词计数)一直是大数据入门的经典案例,下面用 Java 实现 Flink 的 WordCount 代码 二、创建 Maven 工程 下面是 pom.xml 文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns= 阅读全文
posted @ 2020-12-01 21:18 duniqb 阅读(1605) 评论(0) 推荐(0) 编辑
摘要: 最近使用了 JDK8 中新的时间 API LocalDateTime,中间使用了Redis作为缓存,发现 Springboot 默认使用的 Jackson 无法正确序列化 LocalDateTime,究其原因是 Jackson 在序列化 LocalDateTime 时输出的不是普通的字符串时间格式, 阅读全文
posted @ 2020-11-02 22:49 duniqb 阅读(2098) 评论(0) 推荐(0) 编辑
摘要: 1. 概述 一个 JVM 实例只存在一个堆内存,堆也是 Java 内存管理的核心区域 Java 堆区在 JVM 启动时被创建,空间大小也就确定了。是 JVM 管理的最大一块内存空间,堆空间大小是可调节的 虚拟机规范规定,堆可以处于物理上不连续的内存空间中,但在逻辑上它应该被视为连续的 所有的线程共享 阅读全文
posted @ 2020-07-09 17:24 duniqb 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 1. 虚拟机栈概述 由于跨平台性的设计,Java 的指令都是根据栈来设计的。不同平台 CPU 架构不同,所以不能设计为基于寄存器的。 优点是跨平台,指令集小,编译器容易实现,缺点是性能下降,实现同样的功能需要更多的指令。 栈是运行时的单位,而堆是存储的单位。 即栈解决程序的运行问题,即程序如何执行, 阅读全文
posted @ 2020-07-09 17:21 duniqb 阅读(407) 评论(0) 推荐(0) 编辑
摘要: 1. 程序计数器 JVM 种的程序计数器(Program Counter Register)中,Register 的命名源于 CPU 的寄存器,寄存器存储指令相关的现场信息。CPU 只有把数据装载到寄存器才能够运行。 这里,并非是广义上所指的物理寄存器,或许将其翻译为 PC 计数器(或指令计数器)更 阅读全文
posted @ 2020-07-09 17:18 duniqb 阅读(672) 评论(0) 推荐(0) 编辑
摘要: 1. 运行时数据区 运行时数据区详细 详解 Java虚拟机定义了若干种程序运行期间会使用到的运行时数据区,其中有一些会随着虚拟机的启动而创建,随着虚拟机的退出而销毁。另外一些则是与线程一一对应的,这些与线程对应的数据区域会随着线程的开始和结束而创建和销毁。 灰色的为单独线程私有的,红色的为多个线程共 阅读全文
posted @ 2020-07-09 17:16 duniqb 阅读(139) 评论(0) 推荐(0) 编辑
摘要: 类加载器子系统作用: 类加载器子系统负责从文件系统或网络中加载 Class 文件,class 文件在文件开头都有特定的文件标识。 Class Loader只负责class文件的加载,至于是否可以运行,则由Execution Engine决定 加载的类信息存放于一块称为方法区的内存空间。除了类的信息外 阅读全文
posted @ 2020-07-09 17:12 duniqb 阅读(137) 评论(0) 推荐(0) 编辑