小王同学学编程

2022年8月1日

摘要： 1.小文件优化方法（1）小文件弊端 HDFS上每个文件都要在NameNode上创建对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，就会产生很多的元数据文件，一方面会大量占用NameNode的内存空间，另一方面就是元数据文件过多，使得寻址索引速度变慢。小文件过多，在进行阅读全文

posted @ 2022-08-01 16:37 小王同学学编程阅读(23) 评论(0) 推荐(0) 编辑

MapReduce生产经验

摘要： 1.MapReduce跑得慢的原因 MapReduce程序效率的瓶颈在于两点：（1）计算机性能 CPU、内存、磁盘、网络（2）I/O操作优化 1）数据倾斜 2）Map运行时间太长，导致Reduce等待过久 3）小文件过多 2.MapReduce常用调优参数 3.MapReduce数据倾斜问题（阅读全文

posted @ 2022-08-01 16:22 小王同学学编程阅读(20) 评论(0) 推荐(0) 编辑

小文件归档

摘要： 1.HDFS存储小文件弊端每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件所需要的磁盘容量和数据块的大小无关。例如，一个1MB的文件设置为128MB的块存储，实际使用的是1M 阅读全文

posted @ 2022-08-01 15:57 小王同学学编程阅读(101) 评论(0) 推荐(0) 编辑

2022年7月31日

HDFS-存储优化

摘要： 1.纠缠码原理：HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。（1）纠删码操作相关的命令：hdfs ec Usage: bin/hdfs ec [COMMAND] [-li 阅读全文

posted @ 2022-07-31 15:24 小王同学学编程阅读(200) 评论(0) 推荐(0) 编辑

不可变集合

摘要：不可变集合不可变集合，就是不可被修改的集合。集合的数据项在创建的时候提供，并且在整个生命周期中都不可改变，否则报错。为什么要创建不可变集合如果某个数据不能被修改，把它防御性地拷贝到不可变集合中是个很好的实践。或者当集合对象被不可信的库调用时，不可变形式是安全的。阅读全文

posted @ 2022-07-31 11:04 小王同学学编程阅读(47) 评论(0) 推荐(0) 编辑

集合嵌套-例子

摘要： 1 import java.util.*; 2 3 public class MapTest2 { 4 public static void main(String[] args) { 5 // 1. 要求程序记录每个学生选择的情况 6 // 使用一个Map集合存储 7 Map<String, Li 阅读全文

posted @ 2022-07-31 10:46 小王同学学编程阅读(30) 评论(0) 推荐(0) 编辑

HashMap、LinkedHashMap、TreeMap

摘要： 1. hashMap 2. LinkedHashMap 上一个会记住下一个的地址 3. TreeMap 例： 1 import d3_genericity.set.Apple; 2 3 import java.util.Comparator; 4 import java.util.Map; 5 im 阅读全文

posted @ 2022-07-31 10:05 小王同学学编程阅读(25) 评论(0) 推荐(0) 编辑

2022年7月30日

HDFS-集群扩容及缩容

摘要： 1.添加白名单白名单：表示在白名单的主机IP地址可以，用来存储数据。企业中：配置白名单，可以尽量防止黑客恶意访问攻击。配置白名单步骤如下（1）在hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件 1）创建白名单vim whitelist，阅读全文

posted @ 2022-07-30 16:28 小王同学学编程阅读(128) 评论(0) 推荐(0) 编辑

Map集合、 API、遍历方式

摘要： map集合概述和使用 map集合是一种双列集合，每个元素包含亮哥数据。 map集合的每个元素的格式：key=value(键值对元素)。 map集合也被称为“键值对集合”。 map集合整体格式 { key1=value1，key2=value2，key3=value3，... } Map是双列集合的祖阅读全文

posted @ 2022-07-30 10:59 小王同学学编程阅读(42) 评论(0) 推荐(0) 编辑

2022年7月29日

HDFS多目录配置

摘要： 1. NameNode多目录配置（1）NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性（2）具体配置如下 1）在hdfs-site.xml文件中添加如下内容 <property> <name>dfs.namenode.name.dir</name> <value>f 阅读全文

posted @ 2022-07-29 20:02 小王同学学编程阅读(260) 评论(0) 推荐(0) 编辑

小王同学学编程

公告