08 2019 档案
摘要：一.简介 现有的许多不同类型 的技术系统，如关系型数据库、键值存储、操作磁盘文件的map-reduce【映射-规约】引擎、图数据库等，都是为了帮助用户解决颇具挑战性的数据存储与检索问题而设计的。而搜索引擎，尤其是Solr，致力于解决一类特定的问题：搜索大量非结构化的文本数据，并返回最相关的搜索结果。
阅读全文
摘要：一.简介 Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算，兼顾数据仓库，具有实时、批处理、多并发的优点。是CDH平台首选的PB级大数据实时查询分析引擎。 二.优点 1.基于内存计算，能够对PB级别数据进行交互式实时查询、分析
阅读全文
摘要：一.Key 》Redis key值是二进制安全的，这意味着可以可以使用任何二进制序列作为key值。空字符串也是有效的key值。 》key取值原则 1.键值不需要太长，消耗内存，且在数据中查找这类键值计算成本较高 2.键值不宜过短，可读性较差，不宜数据分类和扩展 》过期 1.Redis中可以给key设
阅读全文
摘要：一. 对称分量法 1.在电力系统中突然发生不对称短路时，必然会引起基频分量电流的变化，并产生直流的自由分量。除此之外，不对称短路还会产生一系列的谐波。 2.流过三相正序电流，则在元器件上的三相电压为正序电压，而流过负序或零序电流，则在元器件上的电压为负序或零序电压。也就是说，对于三相对称的元器件，各
阅读全文
摘要：一.简介 流应用程序必须保证7*24全天候运行，因此必须能够适应与程序逻辑无关的故障【例如：系统故障、JVM崩溃等】。为了实现这一点，SparkStreaming需要将足够的信息保存到容错存储系统中，以便它可以从故障中恢复。 检查点有两种类型。 1.元数据检查点 将定义流式计算的信息保存到容错存储系
阅读全文
摘要：一.简介 spark中的排序一般可以使用orderBy或sort算子，可以结合负号、ASC/DESC和col进行简单排序、二次排序等情况 二.代码实现 三.结果
阅读全文
摘要：一.RDB 在默认情况下，Redis将数据库快照保存为dump.rdb的二进制文件。 方式： 1.阻塞方式 客户端中执行save命令 2.非阻塞方式 策略 1.自动，按照配置文件中的条件满足就执行bgsave 2.手动，客户端发起save,bgsave命令 优点 1.完全备份，不同时间的数据备份可以
阅读全文
摘要：一.简介 协同过滤算法【Collaborative Filtering Recommendation】算法是最经典、最常用的推荐算法。该算法通过分析用户兴趣，在用户群中找到指定用户的相似用户，综合这些相似用户对某一信息的评价，形成系统关于该指定用户对此信息的喜好程度预测。 二.步骤 1.收集用户偏好
阅读全文
