天宇轩-王

2020年1月15日

摘要： 1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。 2．命令大全 [root@hadoop002 hadoop-2.7.2]# hdfs dfs Usage: hadoop fs [generic options] [-appendT 阅读全文

posted @ 2020-01-15 23:12 天宇轩-王阅读(227) 评论(0) 推荐(1) 编辑

HDFS概述

摘要： HDFS产出背景及定义 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDF 阅读全文

posted @ 2020-01-15 20:41 天宇轩-王阅读(156) 评论(0) 推荐(1) 编辑

Hadoop完全分布式模式

摘要：集群配置 1. 集群部署规划表2-3 hadoop002 hadoop003 hadoop004 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeMana 阅读全文

posted @ 2020-01-15 16:10 天宇轩-王阅读(732) 评论(0) 推荐(0) 编辑

免密登陆

摘要：无密钥配置（1）免密登录原理，如图所示（2）生成公钥和私钥： [root@hadoop003 .ssh]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key 阅读全文

posted @ 2020-01-15 00:21 天宇轩-王阅读(360) 评论(0) 推荐(1) 编辑

2020年1月14日

Hadoop的分发脚本编写

摘要：手上有4台阿里云，正好可以搭建集群，就要把刚刚配置的单节点的数据拷贝过去。编写集群分发脚本xsync 1. scp（secure copy）安全拷贝（1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）（2）基本语法 Linux sc 阅读全文

posted @ 2020-01-14 23:21 天宇轩-王阅读(589) 评论(0) 推荐(1) 编辑

Hadoop的伪分布式模式

摘要： 1 启动HDFS并运行MapReduce程序 a）配置：hadoop-env.sh Linux系统中获取JDK的安装路径： [root@hadoop001 hadoop-2.7.2]# echo $JAVA_HOME /opt/module/jdk1.8.0_144 [root@hadoop001 阅读全文

posted @ 2020-01-14 21:47 天宇轩-王阅读(389) 评论(0) 推荐(1) 编辑

2020年1月13日

Hadoop的单机模式

摘要：具体的官网链接为：https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-common/SingleCluster.html 官方Grep案例 [root@iZbp1efx14jd8471u20gpaZ hadoop-2.7 阅读全文

posted @ 2020-01-13 22:44 天宇轩-王阅读(561) 评论(0) 推荐(1) 编辑

MarkDown的高级用法

摘要： 1、横向流程图源码格式： ```mermaid graph LR A[方形] -->B(圆角) B --> C{条件a} C -->|a=1| D[结果1] C -->|a=2| E[结果2] F[横向流程图] ``` 2、竖向流程图源码格式： ```mermaid graph TD A[方形] - 阅读全文

posted @ 2020-01-13 22:19 天宇轩-王阅读(595) 评论(0) 推荐(1) 编辑

Hadoop介绍和安装(一)

摘要：简介主要记录了Hadoop各个组件的基本原理，处理过程和关键的知识点等，包括HDFS、YARN、MapReduce等。铺垫人产生数据的速度越来越快，机器则更加快，more data usually beats better algorithms，所以需要另外的一种处理数据的方法。硬盘的容量增阅读全文

posted @ 2020-01-13 21:33 天宇轩-王阅读(342) 评论(0) 推荐(0) 编辑

Python的装饰器

摘要： Python的装饰器和Java的代理差不多，也类似AOP切面，就是在方法的前面做点事情，但是要有Python的闭包基础，返回的是一个函数。一先键2个基础函数 # 创建几个函数 def add(a , b): ''' 求任意两个数的和 ''' r = a + b return r def mul( 阅读全文

posted @ 2020-01-13 14:28 天宇轩-王阅读(234) 评论(0) 推荐(1) 编辑

公告