06 2019 档案
摘要：当spark取出表的scheme中，类型名为tinyint的字段，会被处理为Boolean型。而mysql中tinyint的sqlType都会默认处理为bit，所以如果数据库中的这类字段中，存储了0、1之外的值，拉取数据时则会出现数据失真。 处理方式： 在JDBC的URL中加入参数：tinyInt1
阅读全文
摘要：数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维
阅读全文
摘要：对于基于Receiver 形式，我们可以通过配置 spark.streaming.receiver.maxRate 参数来限制每个 receiver 每秒最大可以接收的记录的数据；对于 Direct Approach 的数据接收，我们可以通过配置 spark.streaming.kafka.maxR
阅读全文
摘要：1. Ctrl+N 按名字搜索类 相当于eclipse的ctrl+shift+R，输入类名可以定位到这个类文件 就像idea在其它的搜索部分的表现一样，搜索类名也能对你所要搜索的内容多个部分进行匹配 甚至不是自己写的类也能搜索 而且如果能匹配的自己写的类，优先匹配自己写的类 2. Ctrl+Shift+N 按文件名搜索文件 同搜索类类似，只不过可以匹配...
阅读全文
摘要：ref: https://blog.csdn.net/qq_41455420/article/details/79399096
阅读全文
