天宇轩-王

2020年1月15日

摘要： HDFS产出背景及定义 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDF 阅读全文

posted @ 2020-01-15 20:41 天宇轩-王阅读(181) 评论(0) 推荐(1)

Hadoop完全分布式模式

摘要：集群配置 1. 集群部署规划表2-3 hadoop002 hadoop003 hadoop004 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeMana 阅读全文

posted @ 2020-01-15 16:10 天宇轩-王阅读(762) 评论(0) 推荐(0)

免密登陆

摘要：无密钥配置（1）免密登录原理，如图所示（2）生成公钥和私钥： [root@hadoop003 .ssh]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key 阅读全文

posted @ 2020-01-15 00:21 天宇轩-王阅读(435) 评论(0) 推荐(1)

2020年1月14日

Hadoop的分发脚本编写

摘要：手上有4台阿里云，正好可以搭建集群，就要把刚刚配置的单节点的数据拷贝过去。编写集群分发脚本xsync 1. scp（secure copy）安全拷贝（1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）（2）基本语法 Linux sc 阅读全文

posted @ 2020-01-14 23:21 天宇轩-王阅读(664) 评论(0) 推荐(1)

Hadoop的伪分布式模式

摘要： 1 启动HDFS并运行MapReduce程序 a）配置：hadoop-env.sh Linux系统中获取JDK的安装路径： [root@hadoop001 hadoop-2.7.2]# echo $JAVA_HOME /opt/module/jdk1.8.0_144 [root@hadoop001 阅读全文

posted @ 2020-01-14 21:47 天宇轩-王阅读(419) 评论(0) 推荐(1)

2020年1月13日

Hadoop的单机模式

摘要：具体的官网链接为：https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-common/SingleCluster.html 官方Grep案例 [root@iZbp1efx14jd8471u20gpaZ hadoop-2.7 阅读全文

posted @ 2020-01-13 22:44 天宇轩-王阅读(596) 评论(0) 推荐(1)

MarkDown的高级用法

摘要： 1、横向流程图源码格式： ```mermaid graph LR A[方形] -->B(圆角) B --> C{条件a} C -->|a=1| D[结果1] C -->|a=2| E[结果2] F[横向流程图] ``` 2、竖向流程图源码格式： ```mermaid graph TD A[方形] - 阅读全文

posted @ 2020-01-13 22:19 天宇轩-王阅读(640) 评论(0) 推荐(1)

Hadoop介绍和安装(一)

摘要：简介主要记录了Hadoop各个组件的基本原理，处理过程和关键的知识点等，包括HDFS、YARN、MapReduce等。铺垫人产生数据的速度越来越快，机器则更加快，more data usually beats better algorithms，所以需要另外的一种处理数据的方法。硬盘的容量增阅读全文

posted @ 2020-01-13 21:33 天宇轩-王阅读(365) 评论(0) 推荐(0)

Python的装饰器

摘要： Python的装饰器和Java的代理差不多，也类似AOP切面，就是在方法的前面做点事情，但是要有Python的闭包基础，返回的是一个函数。一先键2个基础函数 # 创建几个函数 def add(a , b): ''' 求任意两个数的和 ''' r = a + b return r def mul( 阅读全文

posted @ 2020-01-13 14:28 天宇轩-王阅读(249) 评论(0) 推荐(1)

2020年1月12日

Python 正则表达式

摘要： Python 正则表达式正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符串和可阅读全文

posted @ 2020-01-12 23:16 天宇轩-王阅读(220) 评论(0) 推荐(0)

公告