摘要: 概述 定义 HDFS是一个分布式文件管理系统 优缺点 优点 (1)高容错 多副本提高容错、某个副本丢失可以自动恢复 (2)适合处理大数据 ​ 能处理PB级别数据、能处理百万的文件数据量 (3)可构建在廉价机器上 缺点 (1)不适合低时延数据访问 (2)无法高效存储小文件 (3)不支持并发写入和文件修 阅读全文
posted @ 2020-06-14 18:52 来自遥远的水星 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 一、配置hadoop3.1.3 windows环境依赖 将 \资料\01_jar包\03_Windows依赖\hadoop-3.0.0放到任意一个目录 配置环境变量 %HADOOP_HOME%:D:\SoftWare\hadoop-3.1.0 添加到path路径 %HADOOP_HOME%\bin 阅读全文
posted @ 2020-06-14 18:17 来自遥远的水星 阅读(2351) 评论(0) 推荐(0) 编辑
摘要: HDFS【shell操作hdfs命令】 上传 -help:输出这个命令参数 hadoop fs -help rm -moveFromLocal:从本地剪切粘贴到HDFS hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo -copyFromL 阅读全文
posted @ 2020-06-14 17:29 来自遥远的水星 阅读(331) 评论(0) 推荐(0) 编辑
摘要: MarkDown使用教程 一. 常用设置 1.1 目录 +回车 1.2 标题 一共6级标题根据需求自己设置 # 1级标题 或者 <h1>一级标题</h1> ## 2级标题 或者 <h2>二级标题</h2> 1.3 文本样式 (1)引用 > + 空格 + 引用文本、代码注释 引用文本、代码注释 (2) 阅读全文
posted @ 2020-06-14 12:15 来自遥远的水星 阅读(189) 评论(0) 推荐(0) 编辑