摘要:
总结:知其然,知其所以然。做题的思路会更清晰。 问题: weekend110请求免密码登陆spark01 为什么要使用SSH: 传统的网络服务程序,如:ftp、pop和telnet在本质上都是不安全的,因为它们在网络上用明文传送口令和数据,别有用心的人非常容易就可以截获这些口令和数据。而且,这些服务 阅读全文
摘要:
问题: 在搭建Hadoop2.4时,我对照的是Hadoop1.2的搭建步骤,到最后发现少启了2个服务。 解决问题:根据软件版本找到合适的Hadoop搭建步骤。 总结:从本质上区分Hadoop 1.2和 Hadoop2.4的区别,主要是Hadoop2.x比Hadoop1.x增加了YARN的模块。 1. 阅读全文
摘要:
给自己一个发牢骚总结的时间,读者此段内容可以跳过。之前我搭建过几次大数据环境,每次都会浪费很长时间,这次也不例外。首先虚拟机坏了,换了几个虚拟机版本后好了。然后安装Centos,安装完发现Centos不能用。然后重装系统,结果装完系统软件,应用软件不能安装(win10S)。又重装系统后,重新安装虚拟 阅读全文
摘要:
1. hadoop是什么? Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的框架,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。 2. Hadoop的框架最核心的设计 HDFS和MapReduce。HDFS为海量的数据提供了存储,则 阅读全文
摘要:
常常听大家说Hadoop,之前自己也看资料了解过一些Hadoop,现在工作任务就是整理学习Hadoop,开心~ 立个 flag: 博客园的文章好久不写了,2019年要坚持 阅读全文