摘要： 某某自来水公司，需要存储大量的缴费明细数据。以下截取了缴费明细的一部分内容。 用户id 姓名 用户地址 性别 缴费时间 表示数（本次） 表示数（上次） 用量（立方） 合计金额 查表日期 最迟缴费日期 4944191 登卫红 贵州省铜仁市德江县7单元267室 男 2020-05-10 308.1 28 阅读全文

摘要： 有以下订单数据，我们想要将这样的一些数据保存到HBase中。 订单ID 订单状态 支付金额 支付方式ID 用户ID 操作时间 商品分类 001 已付款 200.5 1 001 2020-5-2 18:08:53 手机; 接下来，我们将使用HBase shell来进行以下操作： 1. 创建表 2. 添 阅读全文

摘要： CentOS7防火墙命令有变化： CentOS7： systemctl status firewalld.service 查看防火墙状态 systemctl stop firewalld.service 本次访问关闭防火墙 systemctl disable firewalld.service 从下 阅读全文

摘要： ####第一步:修改hadoop的hdfs-site.xml文件 在该文件中添加以下内容,开启HDFS的REST接口功能: <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> ####第二步:修改ha 阅读全文

摘要： 内置函数 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 查看系统自带的函数 hive> show functions; 显示自带的函数的用法 hive> desc function upper; 详细显示自带的 阅读全文

摘要： Hive 查询语法 SELECT SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list [HAVING conditi 阅读全文

摘要： ###3.1 数据库操作 ####3.1.1 创建数据库 create database if not exists myhive; use myhive; 说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的 <name>hive.metastore.warehouse 阅读全文

摘要： ## Hive 的基本概念 ### Hive 简介 ##### 什么是 Hive Hive是基于Hadoop的一个数据仓库工具，可以将**结构化的数据**文件映射为一张数据库表，并提供类SQL查询功能。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了h 阅读全文

摘要： 2.1 需求 现在有一些订单的评论数据，需求，将订单的好评与差评进行区分开来，将最终的数据分开到不同的文件夹下面去，数据内容参见资料文件夹，其中数据第九个字段表示好评，中评，差评。0：好评，1：中评，2：差评 2.2 分析 程序的关键点是要在一个mapreduce程序中根据数据的不同输出两类结果到不 阅读全文

摘要： 1.1 需求 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案 1.2 分析 小文件的优化无非以下几种方式： 1、 在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS 2、 在业务处理之前，在HDFS上使用map 阅读全文