tree6x7 - 博客园

2023年6月29日

摘要： # 1. HDFS 数据迁移解决方案数据迁移指的是一种大规模量级的数据转移，转移的过程中往往会跨机房、跨集群，数据迁移规模的不同会导致整个数据迁移的周期也不尽相同。在 HDFS 中，同样有许多需要数据迁移的场景，比如冷热数据集群之间的数据转化，或者 HDFS 数据的双机房备份等等。因为涉及阅读全文

posted @ 2023-06-29 00:26 tree6x7 阅读(101) 评论(0) 推荐(0) 编辑

05-HDFS(3)

摘要： # 1. 存储格式 ## 1.1 前置说明 Hadoop 上的文件存储格式，肯定不会像 Windows 这么丰富，因为目前我们用 Hadoop 来存储、处理数据。我们不会用 Hadoop 来听歌、看电影或者打游戏。在 Hadoop 中，没有默认的文件格式，格式的选择取决于其用途。而选择一种优秀、适阅读全文

posted @ 2023-06-29 00:17 tree6x7 阅读(93) 评论(0) 推荐(0) 编辑

04-HDFS(2)

摘要： # 1. HDFS Shell CLI https://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-common/FileSystemShell.html ## 1.1 基本概念命令行界面（英语：command-line int 阅读全文

posted @ 2023-06-29 00:07 tree6x7 阅读(55) 评论(0) 推荐(0) 编辑

2023年6月28日

03-HDFS(1)

摘要： # 1. 存储系统 ![](https://img2023.cnblogs.com/blog/1104875/202306/1104875-20230628235055981-566232663.png) ## 1.1 硬盘硬盘（Hard Disk Drive）是计算机的主要存储硬件，可以用来存储阅读全文

posted @ 2023-06-28 23:57 tree6x7 阅读(77) 评论(0) 推荐(0) 编辑

2023年6月19日

02-Hadoop集群搭建

摘要： # 1. 集群配置 ## 1.1 集群部署规划 - 资源上有抢夺冲突的，尽量不要部署在一起； - 工作上需要互相配合的，尽量部署在一起。 | \ | Hadoop102 | Hadoop103 | Hadoop104 | | :--: | : : | : : | : : | | HDFS | Nam 阅读全文

posted @ 2023-06-19 23:40 tree6x7 阅读(28) 评论(0) 推荐(0) 编辑

01-Hadoop概述

摘要： # 1. 大数据 ## 1.1 概述 > 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要解决，海量数据的**采集**、**存储**和**分析计算**问题。按顺序给出数阅读全文

posted @ 2023-06-19 23:35 tree6x7 阅读(54) 评论(0) 推荐(0) 编辑

2023年3月11日

11-应用层-HTTPs

摘要： 1. Quick Start HTTPS（HyperText Transfer Protocol over Secure Socket Layer）超文本传输安全协议 1.1 与 HTTP 的区别？ HTTP 是超文本传输协议，信息是明文传输，存在安全风险的问题。HTTPS 则解决 HTTP 不安全阅读全文

posted @ 2023-03-11 11:25 tree6x7 阅读(251) 评论(0) 推荐(0) 编辑

2023年3月10日

10-应用层-HTTP

摘要： 1. HTTP 1.1 基本概念 HTTP 是超文本传输协议，也就是HyperText Transfer Protocol。 a. 协议生活中的协议，本质上与计算机中的协议是相同的，协议的特点：「协」代表的意思是必须有两个以上的参与者。例如三方协议里的参与者有三个：你、公司、学校三个；租房协议里阅读全文

posted @ 2023-03-10 16:02 tree6x7 阅读(65) 评论(0) 推荐(0) 编辑

09-应用层-DNS&FTP&Telnet

摘要： 1. 应用层在前五章我们已经详细地讨论了计算机网络提供通信服务的过程。但是我们还没有讨论这些通信服务是如何提供给应用进程来使用的。本章讨论各种应用进程通过什么样的应用层协议来使用网络所提供的这些通信服务。在上一章，我们已学习了运输层为应用进程提供了端到端的通信服务。但不同的网络应用的应用进程之间阅读全文

posted @ 2023-03-10 11:28 tree6x7 阅读(93) 评论(0) 推荐(0) 编辑

2023年2月16日

16-AQS 应用之 Lock

摘要： 1. 引入在 Java 5.0 之前，在协调对共享对象的访问时可以使用的机制只有 synchronized 和 volatile。Java 5.0 增加了一种新的机制：ReentrantLock。与之前提到过的机制相反，ReentrantLock 并不是一种替代内置加锁的方法，而是当内置加锁机制不阅读全文

posted @ 2023-02-16 10:05 tree6x7 阅读(26) 评论(0) 推荐(0) 编辑

Loading

◥(ฅºωºฅ)◤

公告