摘要：
1.在主程序中需要添加这几个参数配置 2.需要配置window中的hosts 文件（识别yarn程序配置的主机ip：我在yarn程序中配置的是hadoop1） 修改打 C盘 -> Windows -> System32 -> drives -> etc -> hosts文件 在最下面 增加一行 10 阅读全文
摘要：
1.查询的方式: 二叉树,平衡二叉树(B-tree),完全平衡二叉树(B+Tree) 区别:https://blog.csdn.net/yuxin6866/article/details/52327328 2.数据库sql优化: 1).尽量少用 * 做查询列条件, 2).尽量不要在 列中插入函数计算 阅读全文
摘要：
1、 sudo gedit /usr/share/applications/eclipse.desktop 2、 向eclipse .desktop中添加以下内容： [Desktop Entry] Encoding=UTF-8 Name=Eclipse Comment=Eclipse IDE Exe 阅读全文
摘要：
解决方法： 1.进入hadoop安装根目录 如 ：我的hadoop 安装在/usr/local/hadoop 执行 cd /usr/local/hadoop bin/hadoop dfsadmin -safemode leave 执行以上两句一般能够解决这个问题 阅读全文
摘要：
namenode元数据管理要点 1、什么是元数据？ hdfs的目录结构及每一个文件的块信息（块的id，块的副本数量，块的存放位置<datanode>） 2、元数据由谁负责管理？ namenode 3、namenode把元数据记录在哪里？ namenode的实时的完整的元数据存储在内存中； namen 阅读全文
摘要：
5、hdfs的客户端操作 客户端的理解 hdfs的客户端有多种形式： 1、网页形式 2、命令行形式 3、客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网 文件的切块大小和存储的副本数量，都是由客户端决定！ 所谓的由客户端决定，是通过配置参数来定的 hdfs的客户端会读以下两个参 阅读全文
摘要：
1、搭建hdfs分布式集群 4.1 hdfs集群组成结构： 4.2 安装hdfs集群的具体步骤： 一、首先需要准备N台linux服务器 学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 二、修改各台机器的主机名和ip地址 主机名：hdp-01 对 阅读全文
摘要：
1、什么是大数据 基本概念 在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 换个角度说，大数据是： 1、有海量的数据 2、有对 阅读全文
摘要：
Create a directory in HDFS - mkdir The hadoop mkdir command is for creating directories in the hdfs. This is similar to the unix mkdir command. You ca 阅读全文
摘要：
文件拥有者不是当前用户，或者文件权限没有修改权限 解决方法： sudo chmod 777 "文件名" 或者用 su root 登录，然后删除 再 exit Datanote服务启动不了： 1、datanode启动失败。可以像楼上说的倒datanode机器上执行jps命令查看datanode进程是否 阅读全文