摘要：
前提:hadoop集群应部署完毕。 一、实战科目 做一个Map Reduce分布式开发，开发内容为统计文件中的单词出现次数。 二、战前准备 1、本人在本地创建了一个用于执行MR的的文件，文件中有209行，每行写了“这是一个测试文件”的句子。 2、将该文件上传至HDFS中。你可以使用idea中的插件上 阅读全文
摘要：
在部署完了高可用的集群的基础上，开始对目前的集群做一次小开发，练练手。 我的开发环境在Windows 10 64位的机器上，因此需要针对Windows的开发环境进行前期准备。 保证Windows系统上安装了java 将hadoop/share/hadoop目录下的有关jar包全部拷贝至同目录下 将此 阅读全文
摘要：
在之前博文中提及的高可用集群的基础上，我们这次添加YARN这个模块。 更新部署表如下： RS：Resource Manager NM：NodeManager 1、修改mapred-site.xml vim /data/hadoop/hadoop-3.3.0/etc/hadoop/mapred-sit 阅读全文
摘要：
这里基于之前的博文，即在全分布式安装的基础上增量部署高可用集群。 集群部署表如下： NameNode1 NameNode2 DataNode ZooKeeper ZKFC JournalNode node1 √ √ √ √ node2 √ √ √ √ √ node3 √ √ √ node4 √ √ 阅读全文
摘要：
准备 集群服务器准备 在虚拟机中创建四个配置为1核，2G内存，20G存储的虚拟机。（在这里有任何问题，请参考上篇博文——>传送门） 必要的软件工具准备 FileZilla Client(FTP客户端) MobaXterm（SSH客户端） hadoop-3.3.1（hadoop核心文件） 这里不提供下 阅读全文
摘要：
这几天开始学习大数据，这离不开Hadoop这个Apache的经典项目。 由于Hadoop这个项目一般都是以集群方式运作， 自己学习却没有如此庞大的资源， 因此根据官网介绍， 我这里采用伪分布式集群进行安装，即单节点，多个进程扮演不同角色。 准备 虚拟机软件 VMware® Workstation 1 阅读全文
摘要：
今天在安装CentOS7的虚机时，想安装一个htop，发现没有，网上搜索了解决方案，最后发现，需要安装EPEL源才能继续安装，故此记录一下。 EPEL的全称叫 Extra Packages for Enterprise Linux 。 EPEL是由 Fedora 社区打造，为 RHEL 及衍生发行版 阅读全文
摘要：
把软件（Software）、平台（Platform）、基础设施（Infrastructure）做成服务（Service）是很多IT企业都一直在做的事情，这就是大家经常听到的SasS（软件即服务）、PasS（平台即服务）和IasS（基础设置即服务）。实现面向服务的架构（SOA）有诸多的方式，包括RPC 阅读全文
摘要：
今天在刷leetcode的题目中，提及了有关XOR，也就是异或的操作。由于自己不太熟悉，因此对异或以及python中的异或操作进行一下分析。 1、什么是异或？ 逻辑上的异或，通俗点就是两者相同返回0，两者不同返回1。比如1⊕0=1，1⊕1=0，0⊕0=0。 2、python上的异或 举个例子很好理解 阅读全文
摘要：
今天运行一个py文件时，出现了一个比较令人费解的问题，最后排查原因后，是自己对Python3的特性还不算特别了解，今天就记录一下，以免后续再出现这样的问题。 python3中的os.path.dirname(__file__)的使用 (1).当os.path.dirname(__file__)所在脚 阅读全文