摘要: MapReduce对于大数据来说就是一个特别简单的青铜时代,现在我们可能用到的并不多,但是还要学一些,MapReduce用来处理分布式并行计算 对为什么MapReduce被淘汰想了解一些的可以看以下这个 mapreduce为什么被淘汰了? MapReduce是Hadoop系统核心组件之一,它是一种可 阅读全文
posted @ 2021-06-16 20:30 泷十三 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 需求分析: 生活中存在这样的情况,需要将同名日志文件进行上传周期性上传至指定文件夹中 技术分析: 定时调度器: ​ Linux crontab ​ crontab -e */5 * * * * $home/bin/command.sh //五分钟执行一次 系统会自动执行脚本,每5分钟一次,执行时判断 阅读全文
posted @ 2021-06-16 15:43 泷十三 阅读(130) 评论(0) 推荐(0) 编辑
摘要: HDFS在生产生活中应用主要是客户端的开发,其核心步骤是从HDFS提供的API构建一个HDFS的访问客户端对象,通过该对象对HDFS上的文件进行增删改查 1.配置JAVA环境 首先电脑里cmd输入java -version 查看版本,如果没有出现下面图片这样的现象,那么说明你没有JAVA环境,可以去 阅读全文
posted @ 2021-06-16 15:27 泷十三 阅读(95) 评论(0) 推荐(0) 编辑