摘要:
1. HDFS 客户端环境准备 1.1 "windows 平台搭建 hadoop 2.8.5" 2. 创建Maven工程 2.1 配置 2.2 创建HDFSClient类 2.2.1 异常处理 “Permission denied” 2.3 HDFSClient类(升级版) 参考资料: "Hadoo 阅读全文
摘要:
1. 源码编译原因 Apache Hadoop 官方提供的是32位源码,而Windows为64位; 2. 编译准备工作 Ubuntu(64位) jar 包准备(hadoop 源码, JDK8, maven, ant, protobuf) "hadoop 2.8.5 src.tar.gz" jdk 8 阅读全文
摘要:
1. 概述 HDFS是一种分布式文件管理系统。 HDFS的使用场景: 适合一次写入,多次读出的场景,且不支持文件的修改; 适合用来做数据分析,并不适合用来做网盘应用; 1.2 优缺点 优点: 高容错性 适合处理大数据 缺点: 不适合 低延时 数据访问; 无法高效的对大量 小文件 进行存储; 不支持并 阅读全文
摘要:
端口占用: netstat -lan | grep 8088 netstat -anp | grep 8088 测试端口是否可用 telnet 45.77.175.108 8089 查看环境变量: echo $JAVA_HOME 配置文件地址: /etc/profile source /etc/pr 阅读全文