04 2020 档案
摘要：从执行结果上看，结果相同，但是mapPartitions的速度比map快了一些。这是为什么呢？我们看下源码 1 /** 2 * Return a new RDD by applying a function to all elements of this RDD. 3 */ 4 def map[U:
阅读全文
摘要：mysql相比于其他数据库，它的架构可以在不同的场景下有着良好的作用，这种能力主要体现在它的引擎的架构上。 插件式的存储引擎架构将查询处理和其他系统任务以及数据存储提取相分离。 InnoDB和MyISAM是许多人在使用MySQL时最常用的两个表类型，这两个表类型各有优劣。 1. InnoDB 支持事
阅读全文
摘要：来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 一、什么是消息队列？ 消息队列不知道大家看到这个词的时候，会不会觉得它是一个比较高端的技术，反正我是觉得它好像是挺牛逼的。 消息队列，一般我们会简称它为MQ(Message Queue)。 队列是一种先进先出的数据结构。
阅读全文
摘要：1.什么是拉链表 拉链表是根据数据存储得方式而定义的，记录每天信息的生命周期，一旦一条记录的生命周期结束，就开始新的一条记录，并把当前日期作为生效日期。 2.为什么要做拉链表 有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表，即使使用ORC压缩，单张表的存储也会超过100G
阅读全文
摘要：为什么要给表加上主键？ 为什么加索引后会使查询变快？ 为什么加索引后会使写入、修改、删除变慢？ 什么情况下要同时在两个字段上建索引？ 这些问题他们可能不一定能说出答案。知道这些问题的答案有什么好处呢？如果开发的应用使用的数据库表中只有1万条数据，那么了解与不了解真的没有差别， 然而， 如果开发的应用
阅读全文
摘要：1 HBase特点 1）海量存储 Hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性，才为海量数据的存储提供了便利。 2）列式存储 这里的列式存储其实说的是列族存储，Hba
阅读全文
摘要：preosto 服务器启动时报错 bin/launcher run Configuration property 'query.max-total-memory-per-node' was not used 这是按照官网的配置的config.properties 解决方案： 按照问题提示，删除了第5
阅读全文
摘要：问题： An error occured loading the directory tree from the repository ERROR executing query The last packet successfully received from the server was 3,
阅读全文