摘要：
Spark 是什么？ ● 官方文档解释：Apache Spark is a fast and general engine for large-scale data processing. 通俗的理解：Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理 阅读全文
摘要：
ElasticSearch核心概念-Cluster 1）代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一 阅读全文
摘要：
REST 简介-定义 REST (REpresentation State Transfer)描述了一个架构样式的网络系统，比如 web 应用程序。它首次出现在 2000 年 Roy Fielding 的博士论文中，他是 HTTP 规范的主要编写者之一。REST 指的是一组架构约束条件和原则。满足这 阅读全文
摘要：
ElasticSearch 规划-集群规划 ElasticSearch 规划-集群规划 ElasticSearch 规划-用户规划 ElasticSearch 规划-目录规划 ElasticSearch 集群环境检查-时钟同步 1.设置本地时间 2.集群时间日期同步NTP ElasticSearch 阅读全文
摘要：
为了让开发者更加方便、并且达到快速规范代码格式的目的并实行起来，阿里巴巴基于《阿里巴巴Java开发规约》手册内容，研发了一套自动化的IDE检测插件（IDEA、Eclipse）。它就是Alibaba Java Coding Guidelines 插件。 该插件在扫描代码后，将不符合规约的代码按Bloc 阅读全文
摘要：
ElasticSearch 产生背景 1.海量数据组合条件查询 2.毫秒级或者秒级返回数据 Lucene 定义 lucene是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。 ElasticSearch 阅读全文
摘要：
Sqoop Export应用场景——直接导出 直接导出 我们先复制一个表，然后将上一篇博文(Sqoop Import HDFS)导入的数据再导出到我们所复制的表里。 运行过程如下： 导入成功后我们再手动查看一下数据库。 上图表示我们的导入是成功的。 指定Map个数 先清除本地数据库数据之后再测试。 阅读全文
摘要：
Sqoop Export数据到本地数据库时出现错误，命令如下： 错误日志如下： 该错误的问题在于分隔符，因为您没有在配置单元表中指定分隔符，默认的配置单元分隔符是： '\ 001'字段终止 '\ 002'的收藏品终止 '\ 003'终止的地图密钥 LINES终止于'\ n' 所以要解决问题，就需要更 阅读全文
摘要：
Sqoop import应用场景——密码访问 注：测试用表为本地数据库中的表 1.明码访问 2.交互式密码 3.文件授权密码 在运行之前先要在指定路径下创建.password文件。 测试运行之后一定会报以下错误： 为了解决该错误，我们需要将.password文件放到HDFS上面去，这样就能找到该文件 阅读全文
摘要：
首先查看数据库参数编码： 然后根据命令统一编码格式： 再确定建表时的编码集是否统一（特别是会出现中文的属性值）： 如果表的编码格式不统一也要修改。 此时，再重新执行Sqoop Import操作就不会再出现乱码了。 以上就是博主为大家介绍的这一板块的主要内容，这都是博主自己的学习过程，希望能给大家带来 阅读全文