2015年7月24日
记录一下SparkStreaming中因为使用redis做数据验证而导致数据结果不对的问题
摘要： 业务背景：需要通过redis判断当前用户是否是新用户。当出现新用户后，会将该用户放入到redis中，以标明该用户已不是新用户啦。出现问题：发现入库时，并没有新用户入库，但我看了数据了，确实应该是有新数据问题原因：因为在判断新用户这一步是在flatmap这一步做的。而flatmap后的RDD，后边会被... 阅读全文
posted @ 2015-07-24 17:26 HarkLee 阅读(1368) 评论(2) 推荐(0) 编辑