2018年10月26日
Zookeeper笔记
摘要： 1. zookeeper快速上手 1.1. zookeeper的基本功能和应用场景 1.2. zookeeper的整体运行机制 1.3. zookeeper的数据存储机制 1.3.1. 数据存储形式 zookeeper中对用户的数据采用kv形式存储 只是zk有点特别： key：是以路径的形式表示的， 阅读全文
posted @ 2018-10-26 19:55 _再遇见 阅读(855) 评论(0) 推荐(0) 编辑
Hive笔记
摘要： 1. 什么是Hive？ 1.1 Hive基本思想 Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.2 为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询 阅读全文
posted @ 2018-10-26 19:44 _再遇见 阅读(444) 评论(0) 推荐(0) 编辑
2018年9月11日
Hadoop入坑之路（二）
摘要： 上节回顾 在第一篇博文（Hadoop入坑之路（一））中，讲述了HDFS如何在服务器上搭建以及命令行客户端的一些基本命令的用法。这一节中主要讲在Java客户端上，实现Windows与HDFS服务器的数据的交互。 客户端与HDFS的数据交互 在运行Java客户端时，需要从官网上下载hadoop的源码包进 阅读全文
posted @ 2018-09-11 17:27 _再遇见 阅读(439) 评论(0) 推荐(0) 编辑
2018年9月10日
Hadoop入坑之路（一）
摘要： 入坑准备 在开始学习Hadoop之前需要提前准备几个服务器。我在虚拟机上提前准备了4个Centos_7 64位的操作系统。并需要完成一下配置： 网络配置： 1.修改主机名 2.设置映射关系 3.修改IP地址 免密登陆设置： 在整个学习过程中，将hdp-master(222.18.157.50)设置为 阅读全文
posted @ 2018-09-10 23:16 _再遇见 阅读(2689) 评论(0) 推荐(1) 编辑
2018年9月9日
Linux之Shell脚本编程（二）
摘要： 上节回顾 在上一篇博文中，主要介绍了Shell脚本编程的背景，怎样创建人生中第一个Shell脚本以及Shell变量等内容。接下来将接着介绍介绍Shell编程，主要是围绕着Shell运算、流程控制语句、自定义函数以及脚本调试等方面展开。 运算符 例： num1=11 num2=22 sum=\$num 阅读全文
posted @ 2018-09-09 17:25 _再遇见 阅读(11259) 评论(0) 推荐(1) 编辑
Linux之Shell脚本编程（一）
摘要： 什么是Shell Shell是命令解释器(command interpreter)，是Unix操作系统的用户接口，程序从用户接口得到输入信息，shell将用户程序及其输入翻译成操作系统内核（kernel）能够识别的指令，并且操作系统内核执行完将返回的输出通过shell再呈现给用户，下图所示用户、sh 阅读全文
posted @ 2018-09-09 16:55 _再遇见 阅读(150779) 评论(1) 推荐(7) 编辑
Linux常用命令（五）
摘要： Linux的权限管理 三种基本权限 r 读权限（read） w 写权限（write） x 执行权限 （execute） 权限说明 格式：所有者 所属组 其他人 第1位：文件类型（d 目录，- 普通文件，l 链接文件） 第2-4位：所属用户(所有者)权限，用u（user）表示 第5-7位：所属组权限， 阅读全文
posted @ 2018-09-09 16:20 _再遇见 阅读(1393) 评论(0) 推荐(0) 编辑
Linux常用命令（四）
摘要： 上节回顾 在前面的几篇博文中主要介绍了Linux的常用命令以及VIM文本编辑器的用法。介绍的常用命令主要包括：文件处理命令（见博文Linux常用命令（一））、帮助命令、文件搜索命令、压缩解压缩命令以及系统关机命令等（见博文Linux常用命令（二））。VIM文本编辑器主要介绍了VIM的工作模式以及相应 阅读全文
posted @ 2018-09-09 12:08 _再遇见 阅读(912) 评论(0) 推荐(0) 编辑
Linux常用命令（三）
摘要： 上节回顾： 在前面篇博文中主要讲了Linux中常用的一些命令的基本用法。具体内容见Linux常用命令（一）和Linux常用命令（二）。这一节主要介绍Linux中VIM文本编辑器的主要用法。 补充Linux学习常用小技巧： ctrl + c（停止当前进程） ctrl + z 挂起当前进程，放后台 ct 阅读全文
posted @ 2018-09-09 11:32 _再遇见 阅读(786) 评论(0) 推荐(0) 编辑
Linux常用命令（二）
摘要： 在Linux常用命令（一）中主要对Linux的目录结构和常用文件处理命令进行了介绍。常用的文件处理命令主要包括：cd、ls、pwd、mkdir、cp、mv、rm等命令。除了在在Linux常用命令（一）中介绍的文件处理命令外，还有一些常用的命令。 1　帮助命令 1.1　man 英文：manual 命令 阅读全文
posted @ 2018-09-09 11:00 _再遇见 阅读(1091) 评论(0) 推荐(0) 编辑