07 2019 档案
摘要：一.分析 Spark提供了非常丰富的算子，可以实现大部分的逻辑处理，例如，要实现行转列，可以用hiveContext中支持的concat_ws(',', collect_set('字段'))实现。但是这有明显的局限性【sqlContext不支持】，因此，基于编码逻辑或自定义聚合函数实现相同的逻辑就显
阅读全文
摘要：一.概览 二.常用函数代码实战 1.eval eval()函数用来执行一个字符串表达式，并返回表达式的结果。 结果： 2.divmod divmod()函数把除数和余数运算结果结合起来，返回一个包含商和余数的元组(a / b,a % b)。 结果： 3.sum sum()函数对可迭代对象【列表，元组
阅读全文
摘要：一.广播变量图解 二.代码 三.注意事项 1.不能将一个RDD使用广播变量广播出去，因为RDD是不存储数据的【弹性分布式数据集】。可以将RDD的结果广播出去【collect，数据不能太多】。 2.广播变量只能在Driver端定义，不能在Executor端定义。 3.在Driver端可以修改广播变量的
阅读全文
摘要：一.电力系统故障概述 1.短路 短路是指电力系统正常运行情况下以外的相与相或相与地【或中性线】之间的故障连接。 2.对称短路与不对称短路 三相短路时三相回路依旧是对称的，故称为对称短路。其它几种短路均使三相回路不对称，故称为不对称短路，如下： 3.产生短路的主要原因是电气设备载流部分的相间绝缘或相对
阅读全文
摘要：一.简介 ES中的索引都进行分片，每个分片都会保存多个副本。这些副本称为复制组，在添加或删除索引时必须同步副本。如果不这样，从不同的副本中读取的索引可能截然不同。保持分片副本同步并从中提供读取的过程被称为数据复制模型。 ES的数据复制模型基于主备份模型。该模型基于单一复制的副本组，该模型对应的分片充
阅读全文
摘要：一.简介 参考ECharts快速入门：https://www.cnblogs.com/yszd/p/11166048.html 二.代码实现 三.效果
阅读全文
摘要：一.简介 主要使用matplotlib基于python的可视化组件实现。 二.代码实现 三.结果
阅读全文
摘要：一.简介 ECharts，一个使用 JavaScript 实现的开源可视化库，可以流畅的运行在 PC 和移动设备上，兼容当前绝大部分浏览器（IE8/9/10/11，Chrome，Firefox，Safari等），底层依赖轻量级的矢量图形库 ZRender，提供直观，交互丰富，可高度个性化定制的数据可
阅读全文
摘要：一.一般属性 1.name fieldType的名称。该值用于字段定义中的类型属性，强烈建议名称仅包含字母数字和下划线，不能以数字开头【非强制】。 2.class 用于存储和索引此类型数据的类名。可以用solr作为前缀包含的类名称。solr会自动找出那些软件包可以定位到这个类 。如果使用的是第三方类
阅读全文
摘要：一.测试数据 二.代码实现 三.结果
阅读全文
摘要：一.简介 开窗函数row_number()是按照某个字段分组，然后取另外一个字段排序的前几个值的函数，相当于分组topN。如果SQL语句里面使用了开窗函数，那么这个SQL语句必须使用HiveContext执行。 二.代码实践【使用HiveContext】 三.结果【使用HiveContext】 1.
阅读全文
摘要：一.内置运算符 1关系运算符 2.算术运算符 3.逻辑运算符 4.复杂类型函数 5.复杂类型函数应用
阅读全文
摘要：一.严格模式 通过设置以下参数开启严格模式： >set hive.mapred.mode=strict;【默认为nonstrict非严格模式】 查询限制： 1.对于分区表，必须添加where查询条件来对分区字段进行条件过滤。 2.order by语句必须包含limit输出限制。 3.限制执行笛卡尔积
阅读全文
