2021年11月25日

关于hive表查询,count(1) 或者count(*)的时候数据条数为0的解决方案

摘要: 今天hue当中查询表的数据量,发现这个表的数据条数显示为0, 但是采用select的形式是可以查询到数据的。 原因是: select count(1)。有时候会发现往一个非分区表的路径上手动put一个textfile文件,但是count()出来的条数却不是文本里面的那么多。 在这个时刻就需要使用an 阅读全文

posted @ 2021-11-25 17:07 gxg123 阅读(1686) 评论(0) 推荐(0) 编辑

datax导数->从一个集群到另外一个集群(hdfs)出现数据缺失

摘要: 今天通过datax从一个集群同步数据到另外一个集群当中,虽然任务执行成功了,但是一个很大的问题, (数据丢失)这怎么得了 解决思路: (1)是不是数据分隔符的问题,导致数据变少了。对了一下发现没问题 (2) 是不是因为字段长度不够数据没同步过来,把长度调的足够大,发现也不管用 (3) 突然在网上发现 阅读全文

posted @ 2021-11-25 16:52 gxg123 阅读(448) 评论(0) 推荐(0) 编辑

导航