06 2019 档案
摘要：C++ 文件的后缀 .cc, .cxx, .cpp, .cp, .c 通过命令行编译程序 1. 编写文件 prog1.cc int main() { return 0; } 2. 执行命令: CC prog1.cc 或者: g++ -o prog1 prog1.cc 3. 运行生成的文件 Linux
阅读全文
摘要：1. Spark 基础 2. Spark Core 3. Spark SQL 4. Spark Streaming 5. Spark 内核机制 6. Spark 性能调优 1. Spark 基础 1.1 Spark 中的相应组件 1.2 Standalone 模式安装 1.2.1 提交应用程序概述
阅读全文
摘要：6. HBase 与 MapReduce 集成 6.1 官方 HBase 与 MapReduce 集成 1. 查看 HBase 的 MapReduce 任务的执行: 2. 环境变量的导入 1. 临时生效,在命令行执行操作: ; ; ; 2. 永久生效,在 配置 ; ; 并在 配置: 3. 运行官方的
阅读全文
摘要：9.企业级调优 9.1 Fetch 抓取 Fetch 抓取：Hive 中对某些情况的查询可以不必使用 MapReduce 计算； 9.2 本地模式 大多数的 Hadoop Job 是需要 Hadoop 提供完整的可扩展性来处理大数据集的。不过，有时 Hive 的输入数据量是非常小的。在这种情况下，为
阅读全文
摘要：7. 函数 7.1 系统内置函数 查看系统自带的函数： 显示自带的函数的用法： 详细显示自带的函数的用法： 7.2 自定义函数 根据用户自定义函数类别，分为以下三种： : 一进一出； : 聚合函数（多进一出），类似于： 等； : 一进多出，类似于： ； 自定义 UDF 的编程步骤： 继承 ; 需要实
阅读全文
摘要：6. Hive 查询 6.1 基本查询（Select ... From) 6.1.1 常用函数 求总行数(count): 求工资的最大值(max)： 求工资的最小值(min): 求工资的总和(sum): 求工资的平均值(avg): 6.2 Where 语句 6.2.1 基础 where 查询 查询工
阅读全文
摘要：3. Hive 数据类型 3.1 基本数据类型 Hive 数据类型 | Java 数据类型 | 长度 | | TINYINT | byte | 1 byte 有符号整数 | SMALINT | short | 2 byte 有符号整数 | INT | int | 4 byte 有符号整数 | BIG
阅读全文
摘要：1. Hive 基本概念 1.1 Hive 介绍 Hive 由 Facebook 开源用于解决海量结构化日志的数据统计； Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供 类SQL 查询功能； 本质是：将 HQL 转化成 MapReduce 程序 ； 1
阅读全文
摘要：1. 应用场景 Zookeeper提供的服务包括：统一命名服务，统一配置管理，统一集群管理，服务器节点动态上下线，软负载均衡等。 2. 配置修改 3. 操作单节点 Zookeeper 4. Zookeeper Shell命令操作 5. 监听器原理 首先，需要有一个main（）线程； 在main线程中
阅读全文
摘要：1.HBase 架构 ============================================ 2. HBase Shell 操作 2.1. 基本操作 进入HBase客户端命令行： 查看帮助命令： 查看当前数据库中有哪些表： 2.2. 表的操作 3. HBase 数据结构 3.1 R
阅读全文
