Spark SQL读取Oracle的number类型的数据时精度丢失问题

Spark SQL读取数据Oracle的数据时,发现number类型的字段在读取的时候精度丢失了,使用的spark版本是Spark2.1.0的版本,竟然最后经过排查和网上查资料发现是一个bug。在Spark2.1.2以上的版本解决了这个问题。

number类型的数据通过spark sql的jdbc读取的时候回变成DecimalType的类型。同时精度不会丢失,在2.1.2版本之前读取过来是IntType类型的。

Spark issues列表:

通过JDBC读取Oracle数据打印的DataFrame的Schema信息:

 

posted @ 2018-11-02 18:56  大葱拌豆腐  阅读(1977)  评论(0编辑  收藏  举报