使用apache livy导致的结果集不一致问题记录

spark sql使用自己封装的livy 引擎执行时有丢失数据情况。排查发现livy session页面中的sql有中文乱码。

 

 之后在livy 源码中未找到相关序列化指定字符集的代码。回头排查自己的代码

 

 修改完毕后重新执行 观察livy session中的sql。

 

 果然乱码没了,执行结果集跟spark后台执行一致。