08 2022 档案

MapReduce程序编写（举例：统计单词个数）
摘要：public class WordCount { //map读取数据的key类型定死是LongWritable,代表的是行号,从0开始,value是一行数据，Text static class MyMapper extends Mapper<LongWritable, Text, Text, Lon 阅读全文
posted @ 2022-08-28 18:50 ~小小~ 阅读(177) 评论(0) 推荐(0) 编辑
MapReduce数据倾斜问题解决方法
摘要：问题分析： 单个reduce可能存在数据量过多导致数据倾斜 解决办法： 1、对数据的key加上随机前缀，让他们的hash值发生变化，分布一些到其他reduce里面去 2、适当增加reduce个数 阅读全文
posted @ 2022-08-28 10:59 ~小小~ 阅读(56) 评论(0) 推荐(0) 编辑
MapReduce计算流程
摘要：MapReduce的计算流程 1.1 原始数据File The books chronicle the adventures of the adolescent wizard Harry Potter and his best friends Ron Weasley and Hermione Gra 阅读全文
posted @ 2022-08-27 13:28 ~小小~ 阅读(675) 评论(0) 推荐(0) 编辑
HDFS-HA搭建
摘要：1、防火墙 service firewalld stop2、时间同步 yum install ntp ntpdate -u s2c.time.edu.cn 或者 date -s 20180503 3、免密钥 (远程执行命令) 在两个主节点生成密钥文件 ssh-keygen -t rsa ssh-co 阅读全文
posted @ 2022-08-24 15:58 ~小小~ 阅读(44) 评论(0) 推荐(0) 编辑
搭建hadoop高可用集群
摘要：一、搭建高可用集群 1.1 zookeeper搭建 1、上传安装包到master并解压 tar -xvf zookeeper-3.4.6.tar.gz 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper- 阅读全文
posted @ 2022-08-24 15:55 ~小小~ 阅读(45) 评论(0) 推荐(0) 编辑
hadoop-HA
摘要：一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集只有一个NameNode，NameNode存在单点故障（SPOF）。 ​ b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 ​ c. 如果发生意外事件（ 阅读全文
posted @ 2022-08-24 15:53 ~小小~ 阅读(62) 评论(0) 推荐(0) 编辑
HDFS读写流程
摘要：一、写数据 写数据就是将客户端上的数据上传到HDFS 1.1 宏观过程 1.客户端向HDFS发送写数据请求 hdfs dfs -put students.txt /shujia/ 2. Filesystem通过rpc调用namenode的put方法 a. nn首先检查是否有足够的空间权限等条件创建这 阅读全文
posted @ 2022-08-24 15:42 ~小小~ 阅读(146) 评论(0) 推荐(0) 编辑
hadoop进程理解
摘要：进程理解 HDFS相关（NN,DN,SSN） NameNode(NN) 功能： 1、接受客户端的读/写服务 因为NameNode知道数据文件与DataNode的对应关系 2、保存文件的时候会保存文件的元数据信息 a. 文件的归属 b. 文件的权限 c. 文件的大小，时间 d. Block信息，但是b 阅读全文
posted @ 2022-08-24 15:26 ~小小~ 阅读(70) 评论(0) 推荐(0) 编辑
搭建hadoop集群
摘要：一、搭建Hadoop集群 NameNode：接受客户端的读/写服务,收集 DataNode 汇报的 Block 列表信息 DataNode：真实数据存储的地方（block） SecondaryNameNode：做持久化的时候用到 进程master（主）node1（从）node2（从） NameNod 阅读全文
posted @ 2022-08-24 15:00 ~小小~ 阅读(125) 评论(0) 推荐(0) 编辑
hadoop学习（一）
摘要：一、分布式文件系统 1、FS File System 文件系统时极域硬盘之上的文件管理的工具 我们用户操作文件系统可以和硬盘进行解耦 2、DFS Distributed File System 分布式文件系统 将我们的数据存放在多台电脑上存储 分布式文件系统有很多,HDFS(Hadoop Distr 阅读全文
posted @ 2022-08-23 16:23 ~小小~ 阅读(18) 评论(0) 推荐(0) 编辑
mysql（一）
摘要：SQL(Structured Query Language)结构化查询语言 全世界所有的结构化数据库都适用 分类 DDL：数据库定义语言（定义数据库的一些组件 表 索引 视图 自增序列...） DML：数据库操作语言（添加 删除 修改） CRUD DQL：数据库查询语言 查询 DCL：数据库控制语言 阅读全文
posted @ 2022-08-17 10:19 ~小小~ 阅读(16) 评论(0) 推荐(0) 编辑
shell中系统任务设置
摘要：shell中系统任务设置 1、系统启动流程 启动计算机的硬件(BIOS) 读取时间 选择对应的启动模式(USB HDD EFI） 如果是Linux系统，回去找/boot目录.引导这个系统启动 计算机系统开始启动,读取初始化配置文件 vim /etc/inittab 启动时控制着计算机的运行级别 ru 阅读全文
posted @ 2022-08-17 09:47 ~小小~ 阅读(42) 评论(0) 推荐(0) 编辑
shell编程
摘要：Shell编程 1.1 Shell名词解释 • Kernel ​ Linux内核主要是为了和硬件打交道 • Shell ​ 命令器(command interpreter) ​ Shell是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言， 又是一种程序设计语言. ​ 阅读全文
posted @ 2022-08-17 09:41 ~小小~ 阅读(39) 评论(0) 推荐(0) 编辑
linux安装
摘要：Linux 1、安装VMWare12 1) 右击以管理员的身份运行安装包 2) 选择自己电脑一个磁盘（固态）空间比较大的盘 D 3) 在D盘中创建一个文件夹soft,路径不允许存在中文特殊字符 2、安装虚拟机 1）新建虚拟机 2）自定义 ... 3、安装XShell和XFTP 1) 在soft目录下 阅读全文
posted @ 2022-08-17 09:37 ~小小~ 阅读(340) 评论(0) 推荐(0) 编辑
Linux用户组管理
摘要：1、用户组管理 用户组的管理包括用户组的添加、删除和修改。 为什么要建立用户组 人事部有20名员工，我们要建立一个组，叫 hr，这样就不用分别给20个员工设置权限了。 ① 用户组添加 命令：groupadd 作用：添加组 语法：# groupadd [参数选项 选项值] 用户组名 选项：-g：设置用 阅读全文
posted @ 2022-08-17 09:31 ~小小~ 阅读(183) 评论(0) 推荐(0) 编辑
Linux基础知识
摘要：Linux目录结构 bin 存放二进制可执行文件(ls,cat,mkdir等)*boot 存放用于系统引导时使用的各种文件dev 存放设备文件etc 存放系统配置文件*home 存放所有用户文件的根目录lib 存放跟文件系统中的程序运行所需要的共享库及内核模块proc 虚拟文件系统，存放当前内存的映 阅读全文
posted @ 2022-08-15 18:27 ~小小~ 阅读(44) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示