06 2019 档案

MySQL binlog
摘要：binlog(The Binary Log)用于记录用户对数据库更新的SQL语句信息，例如数据库的增删改语句都会记录到binlog里，不会记录查询语句。默认情况下，binlog日志是二进制格式的，不能使用查看文本工具的命令（比如，cat，vi等）查看，而使用mysqlbinlog解析查看。mysql 阅读全文
posted @ 2019-06-25 11:32 安小 阅读(226) 评论(0) 推荐(0) 编辑
Spark Partition
摘要：分区的意义 Spark RDD 是一种分布式的数据集，由于数据量很大，因此它被切分成不同分区并存储在各个Worker节点的内存中。从而当我们对RDD进行操作时，实际上是对每个分区中的数据并行操作。Spark根据字段进行partition类似于关系型数据库中的分区，可以加大并行度，提高执行效率。Spa 阅读全文
posted @ 2019-06-05 13:55 安小 阅读(1537) 评论(0) 推荐(0) 编辑