随笔分类 - 大数据
Hadoop,Spark,等大数据技能
摘要：需求 在搭建虚拟机centos时候，我一般用的VM来搭建 很多人应该都遇到开始配置centos时候指定的内存、磁盘空间在使用后发现不够，需要扩展 此时你会发现，扩展内存很容易，但是扩容磁盘空间很麻烦 我也是弄一天，网上找资料终于解决了，这里做下总结，后面会附上参考url 步骤 扩内存：很简单，VM将
阅读全文
摘要：参考：https://blog.csdn.net/qq_38061534/article/details/85175095 安装配置等信息请查看上面链接 1. "hadoop开启后五个守护进程" 使用命令：jps即可看到这个5个人进程 NameNode(HDFS):管理这这个文件系统的命名空间，维护
阅读全文
摘要：如果两台linux之间交互频繁，但是每次交互如果都需要输入密码，就会很麻烦，通过配置SSH就可以解决这一问题 下面就说下配置流程(下面流程在不同机器上全部操作一边) 1）cd ~到这个目录中 2）ssh-keygen -t rsa (执行生成公钥私钥对)3）三个回车 4）将公钥发送给机器1/2/3
阅读全文
摘要：我们搭建集群环境的时候，时间必须是要统一的，才能保证集群数据的一致性。 一般操作是直接使用NTP，跟默认的时间服务器同步，但是最好还是让所有节点跟集群中的某台作为时间服务器的节点同步。 步骤：(节点有NameNode1,NameNode2,DataNode1,DataNode2,DataNode3)
阅读全文
摘要：hadoop配置文件:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.0/ 一：Hadoop简介 总结下起源于Nutch项目，社区贡献最多是Tom White,之后被雅虎关注，发展越来越好，在医疗健康领域和分子生物领域有很多应用
阅读全文
