随笔档案「2020年7月」 - 未来相濡以沫

GroupingComparator分组(辅助分组)和二次排序

摘要：一、辅助排序：(GroupingComparator分组) 在Reduce端对key进行分组。应用于：在接受的key为bean对象时，想让一个或几个字段相同(全部字段比较不相同)的key进入到同一个reduce方法时，可以采用分组排序。二、举例说明 1、需求 (1)统计同一品牌下，卖最贵的手机型号阅读全文

posted @ 2020-07-26 20:41 未来相濡以沫阅读(219) 评论(0) 推荐(0)

HadoopHA(高可用集群)

摘要：一、介绍： 1、所谓HA（High Available），即高可用（7*24小时不中断服务） 2、实现高可用的关键是消除单点故障，即HDFS的nameNode和YARN的resourceManager，所以HA机制就是HDFS的HA和YARN的HA。由于一个HDFS集群由一个NameNode节点和阅读全文

posted @ 2020-07-26 18:19 未来相濡以沫阅读(572) 评论(0) 推荐(0)

Hadoop(MapReducer)面试题

摘要：一、单选题 1、Shuffle中Partitioner 分区发生在哪个过程( A ) A. 溢写过程 B. 本地Merge C. reduce函数阶段 D. map函数阶段 2、在整个maprduce运行阶段，数据是以( A )形式存在的 A. key/value B. LongWritable C 阅读全文

posted @ 2020-07-25 16:57 未来相濡以沫阅读(1013) 评论(0) 推荐(0)

hadoop用到的shell脚本

摘要：1、查询当前hadoop集群中各服务器已经开启的全部服务 #!/bin/bash #查询集群各台服务器已经开启的服务 for ((i=3;i<6;i++)) do echo " Hadoop0$i " ssh Hadoop0$i "source /etc/profile && jps" done 加阅读全文

posted @ 2020-07-25 15:56 未来相濡以沫阅读(308) 评论(0) 推荐(0)

hadoop搭建完全分布式集群

摘要：1. 新建虚拟机 2. 修改虚拟机的静态IP3. 修改主机名,添加主机和ip的映射关系4. 关闭防火墙（1-4 通过脚本完成）5. 创建jinghang用户 useradd jinghang passwd jinghang 6. 配置jinghang用户具有root权限 vim /etc/sudo 阅读全文

posted @ 2020-07-18 15:12 未来相濡以沫阅读(228) 评论(0) 推荐(0)

hadoop搭建伪分布式集群

摘要：一、伪分布式 1.新建虚拟机 2. 修改虚拟机的静态IP 3. 修改主机名 4. 关闭防火墙 5. 创建普通用户 useradd jinghang passwd jinghang 6. 配置普通用户具有root权限 vim /etc/sudoers 91 jinghang ALL=(ALL) NOP 阅读全文

posted @ 2020-07-18 14:18 未来相濡以沫阅读(160) 评论(0) 推荐(0)

idea编译错误的问题

摘要：使用IDEA开发工具,提示编译错误的问题。比如switch语句提示 incompatible types found java.lang.string, require: byte, char, short or int，意思就是类型错误，不支持字符串类型，其实这个是java的语言级别没有设置好导致阅读全文

posted @ 2020-07-18 11:04 未来相濡以沫阅读(1518) 评论(0) 推荐(0)

hadoop(HDFS)常见面试题

摘要：1. 谈谈什么是Hadoop? Hadoop是一个开源软件框架，用于存储大量数据，并发计算/查询节点的集群上的数据。 Hadoop包括以下内容： HDFS(Hadoop Distributed File System)：Hadoop分布式文件存储系统。 MapReduce：分布式计算框架。它以分布式阅读全文

posted @ 2020-07-15 20:45 未来相濡以沫阅读(7269) 评论(0) 推荐(0)

Linux使用准备

摘要：一、Linux和Windows区别比较 Windows Linux 费用收费且很贵 Linux免费或少许费用软件与支持数量和质量的优势,不过大部分为收费软件;由微软官方提供支持和服务开源自由软件,用户可以修改定制和再发布,由于基本免费没有资金支持,部分软件质量和体验欠缺;有全球所有的Lin 阅读全文

posted @ 2020-07-11 19:29 未来相濡以沫阅读(202) 评论(0) 推荐(0)

VMware 安装 Linux 系统(CentOS6)

摘要：典型如下：启动 VMware，进入其主界面，如下图所示。点击“创建新的虚拟机”，进入虚拟机设置向导界面，选择典型如下图所示。点击“下一步”，进入“安装操作系统”界面，选择“安装程序光盘映像文件”，并通过“浏览”按钮找到要安装 Linux 系统的 iso 文件；如下图所示。创建用户信息。创建阅读全文

posted @ 2020-07-11 18:46 未来相濡以沫阅读(251) 评论(0) 推荐(0)

常见Linux面试题

摘要：一、判断题 1.Linux是单用户、多任务的操作系统（❌） 2.使用在CentOS6和CentOS7中查看IP地址得命令都是ifconfig （❌） 3.Linux 得发行版是建立在Linux内核版本之上得（√ ） 4.Windowns server的服务器市场占有率比Linux的更大（❌） 5. 阅读全文

posted @ 2020-07-11 16:10 未来相濡以沫阅读(3698) 评论(0) 推荐(0)

Linux常用命令

摘要：VI/VIM编辑器一般模式以vi打开一个档案就直接进入一般模式了（这是默认的模式）。在这个模式中，你可以使用『上下左右』按键来移动光标，你可以使用『删除字符』或『删除整行』来处理档案内容，也可以使用『复制、贴上』来处理你的文件数据。语法功能描述 yy 复制光标当前一行 y数字y 复制一段阅读全文

posted @ 2020-07-05 13:12 未来相濡以沫阅读(492) 评论(2) 推荐(0)

Linux下的shell编程(基础)

摘要：一.Shell介绍：shell是一个命令行解释器，脚本语言，活动在应用程序与内核之间，用于接收应用程序(用户)命令，调用操作系统内核。（1）编译型语言: 程序在执行之前需要个专门的编译过程，把程序编译成为机器语言文件，运行时不需要重新翻译，直接使用编译的结果就行了。程序执行效率高，依养编译器，跨平阅读全文

posted @ 2020-07-02 22:02 未来相濡以沫阅读(603) 评论(0) 推荐(0)