摘要：
前言 接之前的spark踩坑记录，回想起当时折磨很久的一个问题，结果导致开发中花了很长时间才完全解决。主要原因为spark 和 java 的字符串截取函数不一致导致的。 主要技术框架背景介绍 spark ： 2.4.3scala ： 2.11.12 背景 实际工作中会处理很多文本数据流，例如文章信息 阅读全文
摘要：
hive 的谓词下推和optimize优化功能的讨论 sql 核心的大概结构为 with user_table as ( select user_id from user ) select t1.user_id from ( select t1.user_id, .... from ( select 阅读全文