02 2020 档案

分布式集群HA模式部署
摘要：一：HDFS系统架构 （一）利用secondary node备份实现数据可靠性 （二）问题：NameNode的可用性不高，当NameNode节点宕机，则服务终止 二：HA架构 提高NameNode服务的可用性 架构中至少有两个NameNode节点 （此处以两个NameNode举例） （一）两个NN节 阅读全文
posted @ 2020-02-28 16:21 山上有风景 阅读(3014) 评论(0) 推荐(0)
zooKeeper集群搭建
摘要：一：什么是ZooKeeper Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务 它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等 （一）原始架构 但是当服务器宕机，则应用全部瘫痪。无法做到高可用。应该使用集群实 阅读全文
posted @ 2020-02-26 22:09 山上有风景 阅读(588) 评论(0) 推荐(0)
Hadoop基础---倒排索引实现
摘要：一：实验说明 用于统计各个单词在各个文件中出现的次数，并按序输出 （一）实验数据 a.txt hello kitty flink hello tom spark with hello mark spark hadoop hadoop hadoop b.txt hello tom tom hadoop 阅读全文
posted @ 2020-02-25 10:18 山上有风景 阅读(438) 评论(0) 推荐(0)
Hadoop基础---shuffle机制（进一步理解Hadoop机制）
摘要：一：MapReduce框架 （结合YARN框架） 补充：MapReduce框架知道我们写的map-reduce程序的运行逻辑。我们写的map-reduce中并没有管理层的任务运行分配逻辑，该逻辑被封装在MapReduce框架里面，被封装为MRAppMaster类，该类用于管理整个map-reduce 阅读全文
posted @ 2020-02-24 18:11 山上有风景 阅读(878) 评论(0) 推荐(0)
Hadoop基础---MapReduce程序实现自定义分组（进一步理解Hadoop机制---实现reduce task并发）
摘要：一：分组原理（HashPartitioner) /** Partition keys by their {@link Object#hashCode()}. */ @InterfaceAudience.Public @InterfaceStability.Stable public class Ha 阅读全文
posted @ 2020-02-23 21:51 山上有风景 阅读(399) 评论(0) 推荐(0)
Hadoop基础---MapReduce对数据进行排序
摘要：承接上文：Hadoop基础 流量求和MapReduce程序及自定义数据类型 一：实验数据 对上一篇文章中的数据进行排序处理： 13480253104 180 200 380 13502468823 102 7335 7437 13560439658 5892 400 6292 13600217502 阅读全文
posted @ 2020-02-23 19:40 山上有风景 阅读(2074) 评论(0) 推荐(0)
Hadoop基础---流量求和MapReduce程序及自定义数据类型
摘要：一：测试数据 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 1363157995052 13826544101 5C-0E-8B-C7-F1- 阅读全文
posted @ 2020-02-22 11:52 山上有风景 阅读(603) 评论(1) 推荐(0)
Hadoop基础---MapReduce及YARN中job提交源码分析（进一步理解Hadoop机制）
摘要：补充：下载Hadoop源码 一：YARN框架：进行资源调度 （一）YARN框架流程图 注意：yarn框架只做资源的管理，如果要运行一个程序，则会为该程序分配节点、内存、cpu等资源，至于该程序如何运行，yarn框架不进行管理。故也不会知道mapreduce的运行逻辑 。同样因为这样的松耦合，yarn 阅读全文
posted @ 2020-02-22 10:25 山上有风景 阅读(447) 评论(0) 推荐(0)
Hadoop基础---MapReduce的几种运行模式（方便调试）
摘要：注：该文章承接上一篇：Hadoop基础 MapReduce实现 一：YARN框架：进行资源调度 （一）YARN框架流程图 注意：yarn框架只做资源的管理，如果要运行一个程序，则会为该程序分配节点、内存、cpu等资源，至于该程序如何运行，yarn框架不进行管理。故也不会知道mapreduce的运行逻 阅读全文
posted @ 2020-02-20 20:14 山上有风景 阅读(1271) 评论(0) 推荐(1)
Hadoop基础---MapReduce实现
摘要：一：MapReduce思想 （一）MapReduce解决的问题 1.如何实现将代码分发到集群中节点中，并且如何运行起来 2.将代码分发到哪些指定机器中运行 3.实时监控节点运行情况 4.结果如何汇总 总之：将我们简单的业务逻辑很方便的扩展到海量数据环境下的进行分布式运算 （二）MapReduce基本 阅读全文
posted @ 2020-02-19 08:40 山上有风景 阅读(867) 评论(0) 推荐(0)
Hadoop基础---RPC框架思想及HDFS源码解析
摘要：一：RPC框架封装思想 （一）实现原理 RPC（Remote Procedure Call）远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。 RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。 在OSI网络通信模型中，RPC跨越 阅读全文
posted @ 2020-02-18 10:47 山上有风景 阅读(751) 评论(0) 推荐(0)
Hadoop基础---HDFS的Java客户端编写
摘要：补充：Eclipse自动补全快捷键 在Windows下自动补全快捷键是Alt+/ 在Linux下自动补全快捷键是ctrl+空格 一：导入jar包 （一）定义用户依赖库 （二）导入 hdfs基础jar包 （三）导入hdfs基础jar包所依赖的库 （四）导入公共jar包 （五）导入公共jar包所需lib 阅读全文
posted @ 2020-02-15 15:22 山上有风景 阅读(944) 评论(0) 推荐(0)
Hadoop的安装（2）---Hadoop配置
摘要：一：安装JDK hadoop2.x最低jdk版本要求是：jdk1.7（不过推荐用最新的：jdk1.8，因为jdk是兼容旧版本的，而且我们使用的其他软件可能要求的jdk版本较高） 下载地址：https://www.oracle.com/technetwork/java/javase/downloads 阅读全文
posted @ 2020-02-13 20:13 山上有风景 阅读(1494) 评论(0) 推荐(0)
Hadoop的安装（1）---linux基本配置
摘要：一：设置静态IP （一）进入配置页面 （二）设置手动配置，IP，子网掩码，网关，DNS解析 1.使用ifconfig查看IP网络地址和子网掩码 网络地址192.168.58.X，子网掩码255.255.255.0 2.使用netstat -rn查看网关信息 （三）配置静态IP （四）网络服务重新启动 阅读全文
posted @ 2020-02-12 17:31 山上有风景 阅读(415) 评论(0) 推荐(0)
Hadoop基本概念
摘要：一：Hadoop基本概念 一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。 充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是：HDFS和MapReduce 二：Hadoop解决问题 1.海量数据的存储（HDFS） 阅读全文
posted @ 2020-02-12 11:19 山上有风景 阅读(1081) 评论(0) 推荐(0)
SDN功能实现（三）--- 实现自定义action（2）修改Ryu源码
摘要：一：OpenFlow协议实现 OpenFlow协议解析部分代码大部分在ofproto目录下，少部分在controller目录下。以下内容将首先介绍ofproto目录下的源码内容，再介绍controller目录下的ofp_event文件。 （一）__init__ def get_ofp_modules 阅读全文
posted @ 2020-02-11 21:02 山上有风景 阅读(474) 评论(1) 推荐(0)
SDN功能实现（三）--- 实现自定义action（1）修改OVS源码<随机丢包>
摘要：实现功能：设计一个新的action，实现可以自己指定丢包概率 一：定义openflow action （一）lib / ofp-actions.c：引入添加自己的操作代码，作为OpenFlow的扩展 enum ofp_raw_action_type { /* ... */ /* NX1.3+(47) 阅读全文
posted @ 2020-02-10 16:04 山上有风景 阅读(1390) 评论(3) 推荐(1)
OVS架构解析
摘要：转载自：https://www.cnblogs.com/liuhongru/p/11006079.html 一：架构说明 （一）整体架构 OVS(openvswitch)是开源的虚拟交换机。也是当前市场上云环境中部署份额最大的交换机。支持 openflow协议，ovsdb协议管理。 一个OVS实例包 阅读全文
posted @ 2020-02-10 10:49 山上有风景 阅读(4945) 评论(0) 推荐(2)