摘要: 1. zookeeper快速上手 1.1. zookeeper的基本功能和应用场景 1.2. zookeeper的整体运行机制 1.3. zookeeper的数据存储机制 1.3.1. 数据存储形式 zookeeper中对用户的数据采用kv形式存储 只是zk有点特别: key:是以路径的形式表示的, 阅读全文
posted @ 2018-10-26 19:55 _再遇见 阅读(864) 评论(0) 推荐(0) 编辑
摘要: 1. 什么是Hive? 1.1 Hive基本思想 Hive是基于Hadoop的一个数据仓库工具(离线),可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 1.2 为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询 阅读全文
posted @ 2018-10-26 19:44 _再遇见 阅读(461) 评论(0) 推荐(0) 编辑
摘要: 上节回顾 在第一篇博文(Hadoop入坑之路(一))中,讲述了HDFS如何在服务器上搭建以及命令行客户端的一些基本命令的用法。这一节中主要讲在Java客户端上,实现Windows与HDFS服务器的数据的交互。 客户端与HDFS的数据交互 在运行Java客户端时,需要从官网上下载hadoop的源码包进 阅读全文
posted @ 2018-09-11 17:27 _再遇见 阅读(447) 评论(0) 推荐(0) 编辑
摘要: 入坑准备 在开始学习Hadoop之前需要提前准备几个服务器。我在虚拟机上提前准备了4个Centos_7 64位的操作系统。并需要完成一下配置: 网络配置: 1.修改主机名 2.设置映射关系 3.修改IP地址 免密登陆设置: 在整个学习过程中,将hdp-master(222.18.157.50)设置为 阅读全文
posted @ 2018-09-10 23:16 _再遇见 阅读(2713) 评论(0) 推荐(1) 编辑
摘要: 上节回顾 在上一篇博文中,主要介绍了Shell脚本编程的背景,怎样创建人生中第一个Shell脚本以及Shell变量等内容。接下来将接着介绍介绍Shell编程,主要是围绕着Shell运算、流程控制语句、自定义函数以及脚本调试等方面展开。 运算符 例: num1=11 num2=22 sum=\$num 阅读全文
posted @ 2018-09-09 17:25 _再遇见 阅读(11274) 评论(0) 推荐(1) 编辑
摘要: 什么是Shell Shell是命令解释器(command interpreter),是Unix操作系统的用户接口,程序从用户接口得到输入信息,shell将用户程序及其输入翻译成操作系统内核(kernel)能够识别的指令,并且操作系统内核执行完将返回的输出通过shell再呈现给用户,下图所示用户、sh 阅读全文
posted @ 2018-09-09 16:55 _再遇见 阅读(150919) 评论(1) 推荐(7) 编辑
摘要: Linux的权限管理 三种基本权限 r 读权限(read) w 写权限(write) x 执行权限 (execute) 权限说明 格式:所有者 所属组 其他人 第1位:文件类型(d 目录,- 普通文件,l 链接文件) 第2-4位:所属用户(所有者)权限,用u(user)表示 第5-7位:所属组权限, 阅读全文
posted @ 2018-09-09 16:20 _再遇见 阅读(1395) 评论(0) 推荐(0) 编辑
摘要: 上节回顾 在前面的几篇博文中主要介绍了Linux的常用命令以及VIM文本编辑器的用法。介绍的常用命令主要包括:文件处理命令(见博文Linux常用命令(一))、帮助命令、文件搜索命令、压缩解压缩命令以及系统关机命令等(见博文Linux常用命令(二))。VIM文本编辑器主要介绍了VIM的工作模式以及相应 阅读全文
posted @ 2018-09-09 12:08 _再遇见 阅读(913) 评论(0) 推荐(0) 编辑
摘要: 上节回顾: 在前面篇博文中主要讲了Linux中常用的一些命令的基本用法。具体内容见Linux常用命令(一)和Linux常用命令(二)。这一节主要介绍Linux中VIM文本编辑器的主要用法。 补充Linux学习常用小技巧: ctrl + c(停止当前进程) ctrl + z 挂起当前进程,放后台 ct 阅读全文
posted @ 2018-09-09 11:32 _再遇见 阅读(789) 评论(0) 推荐(0) 编辑
摘要: 在Linux常用命令(一)中主要对Linux的目录结构和常用文件处理命令进行了介绍。常用的文件处理命令主要包括:cd、ls、pwd、mkdir、cp、mv、rm等命令。除了在在Linux常用命令(一)中介绍的文件处理命令外,还有一些常用的命令。 1 帮助命令 1.1 man 英文:manual 命令 阅读全文
posted @ 2018-09-09 11:00 _再遇见 阅读(1094) 评论(0) 推荐(0) 编辑