09 2022 档案
spark 解决 java.util.Date is not a valid external type for schema of Date
摘要：出错伪代码如下： //出错的点在这里 import java.util.Date ... val t_rdd = t_frame.rdd.map(row => { val photo_url = row.getAs[String]("photo_url") val longitude = row.g
记一次 Sedona（GeoSpark） 空间计算优化
摘要：项目需求需要空间计算能力，开始选型Sedona（GeoSpark）来完成， 需求需要每一条数据在满足某条件的情况下，去查找某张表进行空间匹配，找到离这个点（point）最近的一条道路（lineString） 第一个方案: 使用sedona来使用临近道路的判断 由于sedona本质还是使用spark的
