06 2018 档案
摘要：一Redis 数据备份与恢复 Redis SAVE 命令用于创建当前数据库的备份。 语法 redis Save 命令基本语法如下： redis 127.0.0.1:6379> SAVE 实例 redis 127.0.0.1:6379> SAVE OK 该命令将在 redis 安装目录中创建dump.
阅读全文
摘要：一Redis 连接 Redis 连接命令主要是用于连接 redis 服务。 实例 以下实例演示了客户端如何通过密码验证连接到 redis 服务，并检测服务是否在运行： 下表列出了 redis 连接的基本命令： 二Redis 键(key) Redis key命令用于管理 redis 的键。 语法 实例
阅读全文
摘要：一 Redis单机安装 1 Redis下载安装 1.1 检查依赖环境（Redis是C语言开发，编译依赖gcc环境） 1.2 解压文件到指定目录 1.3 编译文件 1）如果没有安装gcc，编译会出现如下错误提示。（如果编译失败，必须删除文件夹，重新解压） 2）安装成功 1.4 安装 安装完成后，在re
阅读全文
摘要：一 Redis 概念 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序
阅读全文
摘要：一、Hive的命令行 1、Hive支持的一些命令 Command Description quit Use quit or exit to leave the interactive shell. set key=value Use this to set value of particular c
阅读全文
摘要：一数据准备 cookie1,2015-04-10,1 cookie1,2015-04-11,5 cookie1,2015-04-12,7 cookie1,2015-04-13,3 cookie1,2015-04-14,2 cookie1,2015-04-15,4 cookie1,2015-04-16
阅读全文
摘要：一内置函数 1 数学函数 Return Type Return Type Name (Signature) Name (Signature) Description Description DOUBLE round(DOUBLE a) Returns the rounded BIGINT value
阅读全文
摘要：一、数据类型 1、基本数据类型 Hive 支持关系型数据中大多数基本数据类型 和其他的SQL语言一样，这些都是保留字。需要注意的是所有的这些数据类型都是对Java中接口的实现，因此这些类型的具体行为细节和Java中对应的类型是完全一致的。例如，string类型实现的是Java中的String，flo
阅读全文
摘要：一、CLI连接 进入到 bin 目录下，直接输入命令： 启动成功的话如上所示，接下来便可以做 hive 相关操作 补充： 1、上面的 hive 命令相当于在启动的时候执行：hive --service cli 2、使用 hive --help，可以查看 hive 命令可以启动那些服务 3、通过 hi
阅读全文
摘要：概述 Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。 Hive的元数据信息在MySQL数据中有57张表 一、存储Hive版本的元数据表（VERSION） VERSION -- 查询版本信息 该表比较
阅读全文
摘要：一 Hive的下载 软件下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 这里下载的版本是：apache-hive-2.3.3-bin.tar.gz 官方安装配置文档：https://cwiki.apache.org/confluence/
阅读全文
摘要：一 Hive 简介 什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为
阅读全文
摘要：一 简介 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。 下载地址：https://www.elastic.co/cn/downloads 版本：elasticsea
阅读全文
摘要：一 使用IDEA开发Spark程序 1、打开IDEA的官网地址，地址如下：http://www.jetbrains.com/idea/ 2、点击DOWNLOAD，按照自己的需求下载安装，我们用免费版即可。 3、双击ideaIU-15.0.2.exe安装包，点击Next。 4、选择安装路径，点击Nex
阅读全文
摘要：一. 线程的概念 在单线程情况下，计算机中存在一个控制权，并按照顺序依次执行指令。单线程好像是一个只有一个队长指挥的小队，整个小队同一个时间只能执行一个任务。在多线程情境下，计算机中有多个控制权。多个控制权可以同时进行，每个控制权依次执行一系列的指令。多线程好像是一个小队中的成员同时执行不同的任务。
阅读全文
摘要：一 简介 Apache Sqoop（TM）是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具 。 官方下载地址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.7 1. Sqoop是什么 Sqoop：SQL-
阅读全文
摘要：一 Sqoop简介 Apache Sqoop(TM) 于 2012 年 3 月孵化出来，现在是一个顶级的 Apache 项目。是一种旨在有效地在 Apache Hadoop 和诸如关系数据库等结构化数据存储之间传输大量数据的工具。最新的稳定版本是 1.4.7。Sqoop2 的最新版本是 1.99.7
阅读全文
摘要：一学生成绩 增强版 数据信息 computer,huangxiaoming,85,86,41,75,93,42,85 computer,xuzheng,54,52,86,91,42 computer,huangbo,85,42,96,38 english,zhaobenshan,54,52,86,9
阅读全文
摘要：WordCount案例 需求1：统计一堆文件中单词出现的个数（WordCount案例） 0）需求：在一堆给定的文本文件中统计输出每一个单词出现的总次数 1）数据准备：Hello.txt 2）分析 按照mapreduce编程规范，分别编写Mapper，Reducer，Driver。 3）编写程序 （1
阅读全文
摘要：流量汇总程序案例 1.自定义输出 统计手机号耗费的总上行流量、下行流量、总流量（序列化） 1）需求： 统计每一个手机号耗费的总上行流量、下行流量、总流量 2）数据准备 phone_date.txt 输入数据格式： 输出数据格式 3）分析 基本思路： Map阶段： （1）读取一行数据，切分字段 （2）
阅读全文
摘要：辅助排序和二次排序案例（GroupingComparator） 1.需求 有如下订单数据 订单id 商品id 成交金额 0000001 Pdt_01 222.8 0000001 Pdt_05 25.8 0000002 Pdt_03 522.8 0000002 Pdt_04 122.4 0000002
阅读全文
摘要：MapReduce中多表合并案例 一.案例需求 订单数据表t_order： id pid amount 1001 01 1 1002 02 2 1003 03 3 订单数据order.txt 商品信息表t_product pid pname 01 小米 02 华为 03 格力 商品数据pd.txt
阅读全文
摘要：小文件处理（自定义InputFormat） 1.需求分析 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。将多个小文件合并成一个文件SequenceFile，SequenceFile里面存储着多个文件，存储的形式为文件路径
阅读全文
摘要：过滤日志及自定义日志输出路径（自定义OutputFormat） 1.需求分析 过滤输入的log日志中是否包含xyg （1）包含xyg的网站输出到e:/xyg.log （2）不包含xyg的网站输出到e:/other.log 2.数据准备 http://www.baidu.com http://www.
阅读全文
摘要：一. 倒排索引（多job串联） 1. 需求分析 有大量的文本（文档、网页），需要建立搜索索引 xyg pingping xyg ss xyg ss xyg pingping xyg pingping pingping ss xyg ss xyg pingping （1）第一次预期输出结果 （2）第二
阅读全文
摘要：找博客共同好友案例 1）数据准备 以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F
阅读全文
摘要：压缩/解压缩案例 一. 对数据流的压缩和解压缩 CompressionCodec有两个方法可以用于轻松地压缩或解压缩数据。要想对正在被写入一个输出流的数据进行压缩，我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionOutputStre
阅读全文
摘要：日志清洗案例 一. 简单解析版 1）需求 去除日志中字段长度小于等于11的日志。 2）输入数据 3）实现代码 （1）编写LogMapper （2）编写LogDriver 二. 复杂解析版 1）需求 对web访问日志中的各字段识别切分 去除日志中不合法的记录 根据统计需求，生成各类访问请求过滤数据 2
阅读全文
