2018年2月6日
大数据入门第九天——MapReduce详解（六）MR其他补充
摘要： 一、自定义in/outputFormat 1.需求 现有一些原始日志需要做增强解析处理，流程： 1、 从原始日志文件中读取数据 2、 根据日志中的一个URL字段到外部知识库中获取信息增强到原始日志 3、 如果成功增强，则输出到增强结果目录；如果增强失败，则抽取原始数据中URL字段输出到待爬清单目录 阅读全文
posted @ 2018-02-06 14:29 ---江北 阅读(650) 评论(0) 推荐(0) 编辑
TOP