02 2018 档案
摘要:第一步:获取mysql YUM源 进入mysql官网获取RPM包下载地址 https://dev.mysql.com/downloads/repo/yum/ 右击 复制链接地址 https://dev.mysql.com/get/mysql57-community-release-el7-11.no
阅读全文
摘要:部署环境及软件: VMware Workstation 10 CentOS 7 Hadoop 2.5 环境部署 1、准备虚拟机 可先建立一台虚拟机, 需要安装jdk,准备好haddop软件包, 然后通过VMware克隆获得相同配置虚拟机。 2、主机名、IP地址等设置 三台机器: 配置映射: /etc
阅读全文
摘要:VMware安装之后正常使用,第二次使用时突然发现没有显示ip,操作系统也没显示有线连接,重启网络服务无效,报错如上图。 百度无数个方法,包括设置MAC地址,关闭networkManager等均无效。 后来发现主机上网络中心的VMware网络适配器显示无法识别的网络: 关于网络适配器无法识别网络的解
阅读全文
摘要:1、添加用户,首先用adduser命令添加一个普通用户,命令如下:#adduser tommy //添加一个名为tommy的用户#passwd tommy //修改密码 Changing password for user tommy.New UNIX password: //在这里输入新密码Ret
阅读全文
摘要:在用VirtualBox创建新的虚拟机后,原来的虚拟机的ip有时会受到影响,从而自动修改掉,但是因为之前有很多的设置,所以导致很麻烦。 以下暂时把设置虚拟机的静态ip作为解决办法(未经验证,只是尝试) 环境为:CentOS 7 首先查看ip信息: ip addr 如图enp0s8对应主机网段的ip地
阅读全文
摘要:YARN简介: Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨
阅读全文
摘要:离线计算框架 MapReduce 思想:分而治之(将大数据集分为小的数据集) 思想:分而治之(将大数据集分为小的数据集) 将计算过程分为两个阶段,Map和Reduce Map阶段并行处理输入数据 Reduce阶段对Map结果进行汇总 Shuffle连接Map和Reduce两个阶段 Map Task将
阅读全文
摘要:Hadoop是什么? Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 用户可以在不了解分布式底层细节的情况下,开发分
阅读全文