摘要：
上周完成了虚拟机的一些基本配置，这一周学习HDFS的一些知识和操作。 编写 Hadoop 集群常用脚本1 ）Hadoop 集群启停脚本（包含 HDFS ，Yarn ，Historyserver ）：myhadoop.sh[atguigu@hadoop102 ~]$ cd /home/atguigu/ 阅读全文
摘要：
这一周开始安装Hadoop的完全分布式运行模式。 首先介绍下Hadoop的运行模式： Hadoop 运行模式包括： 本地模式、 伪分布式模式以及 完全分布式模式。 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服 阅读全文
摘要：
现在已经有了三台主机，接下来就是配置虚拟机了。首先是JDK的安装： 在 在 hadoop102 装 安装 JDK1 ）有 卸载现有 JDK注意：安装 JDK 前，一定确保提前删除了虚拟机自带的 JDK。详细步骤见问文档 3.1 节中卸载 JDK 步骤。2 ）用 用 XShell 传输 工具将 JDK 阅读全文
摘要：
上一周学习了一台虚拟机的配置，这一周开始将虚拟机的配置分发到其他主机： 1 ） 利用模板机 hadoop100 ，克隆 三台虚拟机： ：hadoop102 hadoop103 hadoop104注意：克隆时，要先关闭 hadoop1002 ）修改 克隆机 IP ，以下以 hadoop102 举例说明 阅读全文
摘要：
这一周开始安装Hadoop，首先是硬件上的： 安装模板虚拟机，IP 地址 192.168.10.100 、 主机名称 hadoop100 、内存 4G 、硬盘 50G 这时候就需要实用虚拟机进行安装了，按照视频中的介绍： （1）使用 yum 安装需要虚拟机可以正常上网，yum 安装前可以先测试下虚拟 阅读全文
摘要：
前言部分 是的，在《架构整洁之道》一书中，Bob大叔在前言部分就一语道破天机 — 软件设计发展了这么多年，使用的技术和工具更新换代了无数次，但是软件架构的规则是相同的，而本书正是为了揭示这些永恒的，不变的软件架构规则。关于这一点，笔者在最近几年的阅读和实践中也有类似的感受 — 关于微服务和分布式的思 阅读全文
摘要：
这周学习Hadoop的简介及其发展，首先是Hadoop的介绍 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 Hadoop 发展历史 1）Hado 阅读全文
摘要：
按照老师的要求，需要我们在这个暑假学习Hadoop的安装和其实用，用作开学的考试，在查找资料后，我选择按照哔哩哔哩的教学视频进行学习，主要是尚硅谷的hadoop视频，包含安装和基本操作。从下一周开始安装，这一周学习一下大数据的简介。 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进 阅读全文
摘要：
回想起当时在做团队项目的时候，那时候还是租用了一个云数据库，但是当时对团队项目的部署放在了云服务器上，并且在云服务器配置了MySQL，就暂时搁置了这个云数据库，但是现在想想，我应该对云服务器适当的使用，这时候我也有了新的想法，就是让云服务器只负责项目的部署，让其数据库的连接都集中在云数据库上，有了这 阅读全文
摘要：
回顾这一学期老师给我们的几个作业，对于每个作业的完成后都会有不同的收获。 还是结合着作业来说更具体些。对于第一个个人作业，也就是老师对于我们寒假学习结果的一种检验，总体来看第一个作业的一二阶段也还是算很简单的，主要是检验，就能很简单的完成。然后时结对作业，这次就要求我们自学python完成数据的爬取 阅读全文