Vegetable Chicken

摘要： 1.准备工作 (1) 启动zookeeper服务，我的是在本地启动zookeeper (2) 启动HBase和HBase shell 启动HBase: 启动HBase shell (3) 工程的maven依赖 <dependency> <groupId>org.apache.hadoop</grou 阅读全文

摘要： 5.1 使用者与群组 (1)文件具有使用者，群组，其他人三个所属关系，当前用户与文件的关系就是这三种所属关系之一，所以查看对应的权限就能够知道当前用户对该文件的权限。 (2)root的相关信息记录在/etc/passwd文件中；个人密码记录在/etc/shadow文件中；组名记录在/etc/grou 阅读全文

摘要： 一.flume介绍 1.flume是一个分布式的日志采集系统 2.在flume系统中，最核心的是agent,每个agent都相当于一个数据传递员。 在agent内部有source,sink,channel source是获取数据的来源 sink是采集数据的传送目的，往下一级agent传递或者网存储系 阅读全文

摘要： 一.启动1.启动hadoop2.直接在命令行下输入hive就可以换启动hive二.创建1.创建普通表（注意各种分隔符的写法） 2.创建分区表（注意partitioned by (country string,state string)的位置） 3.向hive中加载数据,指定了不存在的分区就相当于创建 阅读全文

摘要： 在hadoop上处理结构化数据的数据仓库，采用sql方式操作 hive元数据存储在mysql上，也就是描述hive表的属性信息存放在mysql上；数据存放在hdfs上 不是关系型数据库，不是在线处理，不适合实时查询 hive利用hdfs存储数据，利用mapreduce查询数据 2.hive使用 启动 阅读全文

摘要： 一.准备工作 1.需求 在wordcount程序中使用自定义combiner 解析mapreduce的流程 2.环境配置 (1)hadoop为本地模式 (2)pom文件代码如下 <dependencies> <dependency> <groupId>org.apache.hadoop</group 阅读全文

摘要： 1.需求 利用mapreduce编程框架编写wordcount程序。 2.环境配置 (1)hadoop为本地模式 (2)pom文件代码如下 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>had 阅读全文

摘要： 1.需求 通过流的方式访问hdfs，在mapreduce底层实现中会有直接应用。 2.环境配置 (1)hadoop为本地模式 (2)pom文件代码如下 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifact 阅读全文

摘要： 参考博客：https://www.cnblogs.com/Eddyer/p/6641778.html 1.需求 使用hdfs的javaAPI访问hdfs系统。 2.环境配置 (1)hadoop为本地模式 (2)pom文件代码如下 <dependencies> <dependency> <groupI 阅读全文