摘要: 一:将爬虫大作业产生的csv文件上传到HDFS 查看文件中前10条信息,即可证明是否上传成功。 二.对CSV文件进行预处理生成无标题文本文件 创建一个deal.sh,主要实现数据分割成什么样的意思 执行deal.sh 对数据进行分割预处理并输出形成movie.txt 三.把hdfs中的文本文件最终导 阅读全文
posted @ 2019-06-12 23:15 HongNa 阅读(409) 评论(0) 推荐(0) 编辑