随笔分类 -  Hadoop学习

网易大数据之数据存储：HDFS
摘要：一、HDFS基础架构 1、HDFS特点：水平扩展、高容错性、廉价硬件、开源生态系统 2、Hadoop生态圈 1）、分布式存储系统（HDFS），2）、资源管理框架（YARN），3）、批处理框架（MapReduce、Pig），4）、数据仓库（Hive），5）、NoSQL系统（HBase、Drill），6 阅读全文
posted @ 2018-08-09 12:17 jiapeng 阅读(5878) 评论(0) 推荐(0) 编辑
Zookeeper安装使用及JavaAPI使用
摘要：一、Zookeeper单击模式安装及使用 1、系统环境 2、导入JDK和Zookeeper包 1）、使用SecureCRT工具打开SFTP连接，直接拖拽，到当前用户文件夹下，然后使用mv命令（mv 文件 目标文件夹）移动到自定义路径下 2）、使用tar -zxvf 包名，解压JDK和Zookeepe 阅读全文
posted @ 2018-05-10 16:49 jiapeng 阅读(4041) 评论(0) 推荐(0) 编辑
结合Hadoop，简单理解SSH
摘要：在启动dfs和yarn时，需要多次输入密码，不但启动本机进程还有辅服务器启动那些节点也需要相应密码，主与辅服务器之间是通过SSH连接的，并发送操作指令 一、ssh密码远程登录 1、使用ssh连接另一台centos7系统，现在我是在192.168.36.133服务器上，用户是hjp要连接192.168 阅读全文
posted @ 2016-10-07 17:25 jiapeng 阅读(3531) 评论(0) 推荐(2) 编辑
初识Hadoop二，文件操作
摘要：1、使用hadoop命令查看hdfs下文件 [root@localhost hadoop-2.7.3]# hadoop fs -ls hdfs://192.168.36.134:9000/ 开始在secureCRT上执行这条命令失败，使用netstat -nltp命令查看监听的9000端口，是127 阅读全文
posted @ 2016-10-06 20:10 jiapeng 阅读(4025) 评论(0) 推荐(0) 编辑
初识Hadoop一，配置及启动服务
摘要：一、Hadoop简介： Hadoop是由Apache基金会所开发的分布式系统基础架构，实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS；Hadoop框架最核心设计就是HDFS和MapReduce，HDFS为海量数据提供了存储，MapReduce为 阅读全文
posted @ 2016-10-06 10:52 jiapeng 阅读(22937) 评论(1) 推荐(2) 编辑

点击右上角即可分享
微信分享提示