Fork me on GitHub
摘要: 1. HDFS 客户端环境准备 1.1 "windows 平台搭建 hadoop 2.8.5" 2. 创建Maven工程 2.1 配置 2.2 创建HDFSClient类 2.2.1 异常处理 “Permission denied” 2.3 HDFSClient类(升级版) 参考资料: "Hadoo 阅读全文
posted @ 2019-05-26 20:56 小a的软件思考 阅读(2881) 评论(0) 推荐(0) 编辑
摘要: 1. 源码编译原因 Apache Hadoop 官方提供的是32位源码,而Windows为64位; 2. 编译准备工作 Ubuntu(64位) jar 包准备(hadoop 源码, JDK8, maven, ant, protobuf) "hadoop 2.8.5 src.tar.gz" jdk 8 阅读全文
posted @ 2019-05-26 18:31 小a的软件思考 阅读(384) 评论(0) 推荐(0) 编辑
摘要: 1. 概述 HDFS是一种分布式文件管理系统。 HDFS的使用场景: 适合一次写入,多次读出的场景,且不支持文件的修改; 适合用来做数据分析,并不适合用来做网盘应用; 1.2 优缺点 优点: 高容错性 适合处理大数据 缺点: 不适合 低延时 数据访问; 无法高效的对大量 小文件 进行存储; 不支持并 阅读全文
posted @ 2019-05-26 15:37 小a的软件思考 阅读(351) 评论(0) 推荐(0) 编辑
摘要: 端口占用: netstat -lan | grep 8088 netstat -anp | grep 8088 测试端口是否可用 telnet 45.77.175.108 8089 查看环境变量: echo $JAVA_HOME 配置文件地址: /etc/profile source /etc/pr 阅读全文
posted @ 2019-05-26 10:54 小a的软件思考 阅读(126) 评论(0) 推荐(0) 编辑