superset连接es中的日期格式问题及解决
问题:
使用superset连接es时,由于es的默认时间格式为iso 8601格式的,superset不能直接识别。在创建的chart中如果用到时间过滤,则会出现以下错误:
base error: Error (search_phase_execution_exception): all shards failed
原因分析:
查看superset发送给服务器的sql语句,可以发现这样的语句:where create_time >='2020-04-14 00:00:00' and create_time <='2020-04-15 00:00:00'
但此时es的日期格式为yyyy-MM-ddTHH:mm:ss.000Z
两边日期格式不匹配,可能是导致以上错误的原因
解决:
查了一整天的资料也没有找到答案,在烦闷中逐个浏览superset关于字段中的属性的说明,突然看到这样一段话:
再联想到es的日期字段也可以输入时间戳,心想有没有可能是es输出的实际也是时间戳呢。于是一咬牙一跺脚,把Datatime Format的值设置成epoch_ms。然后再试时间过滤条件,居然成了!
具体原因不明,还待研究。
技术服务业务