摘要:
前提:hadoop集群应部署完毕。 一、实战科目 做一个Map Reduce分布式开发,开发内容为统计文件中的单词出现次数。 二、战前准备 1、本人在本地创建了一个用于执行MR的的文件,文件中有209行,每行写了“这是一个测试文件”的句子。 2、将该文件上传至HDFS中。你可以使用idea中的插件上 阅读全文
摘要:
在部署完了高可用的集群的基础上,开始对目前的集群做一次小开发,练练手。 我的开发环境在Windows 10 64位的机器上,因此需要针对Windows的开发环境进行前期准备。 保证Windows系统上安装了java 将hadoop/share/hadoop目录下的有关jar包全部拷贝至同目录下 将此 阅读全文
摘要:
在之前博文中提及的高可用集群的基础上,我们这次添加YARN这个模块。 更新部署表如下: RS:Resource Manager NM:NodeManager 1、修改mapred-site.xml vim /data/hadoop/hadoop-3.3.0/etc/hadoop/mapred-sit 阅读全文
摘要:
这里基于之前的博文,即在全分布式安装的基础上增量部署高可用集群。 集群部署表如下: NameNode1 NameNode2 DataNode ZooKeeper ZKFC JournalNode node1 √ √ √ √ node2 √ √ √ √ √ node3 √ √ √ node4 √ √ 阅读全文
摘要:
准备 集群服务器准备 在虚拟机中创建四个配置为1核,2G内存,20G存储的虚拟机。(在这里有任何问题,请参考上篇博文——>传送门) 必要的软件工具准备 FileZilla Client(FTP客户端) MobaXterm(SSH客户端) hadoop-3.3.1(hadoop核心文件) 这里不提供下 阅读全文
摘要:
这几天开始学习大数据,这离不开Hadoop这个Apache的经典项目。 由于Hadoop这个项目一般都是以集群方式运作, 自己学习却没有如此庞大的资源, 因此根据官网介绍, 我这里采用伪分布式集群进行安装,即单节点,多个进程扮演不同角色。 准备 虚拟机软件 VMware® Workstation 1 阅读全文
摘要:
今天在安装CentOS7的虚机时,想安装一个htop,发现没有,网上搜索了解决方案,最后发现,需要安装EPEL源才能继续安装,故此记录一下。 EPEL的全称叫 Extra Packages for Enterprise Linux 。 EPEL是由 Fedora 社区打造,为 RHEL 及衍生发行版 阅读全文
摘要:
把软件(Software)、平台(Platform)、基础设施(Infrastructure)做成服务(Service)是很多IT企业都一直在做的事情,这就是大家经常听到的SasS(软件即服务)、PasS(平台即服务)和IasS(基础设置即服务)。实现面向服务的架构(SOA)有诸多的方式,包括RPC 阅读全文
摘要:
今天在刷leetcode的题目中,提及了有关XOR,也就是异或的操作。由于自己不太熟悉,因此对异或以及python中的异或操作进行一下分析。 1、什么是异或? 逻辑上的异或,通俗点就是两者相同返回0,两者不同返回1。比如1⊕0=1,1⊕1=0,0⊕0=0。 2、python上的异或 举个例子很好理解 阅读全文
摘要:
今天运行一个py文件时,出现了一个比较令人费解的问题,最后排查原因后,是自己对Python3的特性还不算特别了解,今天就记录一下,以免后续再出现这样的问题。 python3中的os.path.dirname(__file__)的使用 (1).当os.path.dirname(__file__)所在脚 阅读全文