大数据第十五周 Spark编程基础实例——wordCount编程
摘要：第十五周 Spark编程基础实例——wordCount编程 Shell下编写wordCount 测试文件 创建一个本地文件word.txt，内含多行文本，每行文本由多个单词构成，单词之间用空格分隔，编写spark程序统计每个单词出现的次数。 打开spark-shell 导入数据 scala> val
阅读全文
posted @
2020-06-10 19:01
蔡军帅
阅读(657)
推荐(0) 编辑
大数据第十三周(上周补充)
摘要：大数据第十一周 1.物理集群的验证 开启本组所有电脑（4台），拷贝虚拟机映像，打开。在开启虚拟机之前，设置虚拟机内存是4G，处理器是4，网络连接是桥接模式。 也可以在图形界面配 把桥接网卡绑定到具体的物理网卡，不要使用自动绑定。 设置完成后，启动寻虚拟机。 2.设置网络连接 编辑网络配置
阅读全文
posted @
2020-05-26 08:18
蔡军帅
阅读(207)
推荐(0) 编辑
大数据Hadoop第十一周——四台电脑的集群配置
摘要：大数据第十一周 1.物理集群的验证 开启本组所有电脑（4台），拷贝虚拟机映像，打开。在开启虚拟机之前，设置虚拟机内存是4G，处理器是4，网络连接是桥接模式。 也可以在图形界面配 把桥接网卡绑定到具体的物理网卡，不要使用自动绑定。 设置完成后，启动寻虚拟机。 2.设置网络连接 编辑网络配置
阅读全文
posted @
2020-05-12 12:39
蔡军帅
阅读(662)
推荐(0) 编辑
大数据Hadoop第九周——Scala开发环境搭建+Scala语言值变量类型表达式
摘要：大数据第9周 1.Scala开发环境搭建 目前具备全部功能的集成开发环境只有Idea。 下载解压idea：tar -zxvf ideaIE-2019.3.3.tar.gz。 进入bin目录，执行：./idea.sh。 选择新建一个project。 接着按如下界面选择。 进入如下界面。输入Pr
阅读全文
posted @
2020-04-26 14:24
蔡军帅
阅读(453)
推荐(0) 编辑
大数据Hadoop第八周——Wordcount程序的运行+Spark下载解压+Scala语言环境和简介
摘要：大数据第8周 1.Wordcount程序的运行 1.1准备数据 上传到hdfs一个英文的文本文件，尽量不要在根目录下。文件内容也不要太多，可以自己数清楚有几个词，方便检查是否正确。 1.2写入运行参数 当前界面显示出要运行的程序，然后点击主菜单的“run”。 并选择“Run Configuratio
阅读全文
posted @
2020-04-21 13:50
蔡军帅
阅读(224)
推荐(0) 编辑
大数据Hadoop第七周——Eclipse环境下java语言mapreduce程序开发环境配置+WordCount.java详解
摘要：大数据第七周 1 Eclipse环境下java语言mapreduce程序开发环境配置 1.1 拷贝eclipse软件 先拷贝到根目录下，然后解压 tar -zxvf eclipse-java-2020-03-R-linux-gtk-x86_64.tar.gz 打开eclipse：进入eclipse
阅读全文
posted @
2020-04-14 17:01
蔡军帅
阅读(460)
推荐(0) 编辑
大数据Hadoop第六周——启动集群并验证
摘要：大数据第6周 1.启动集群并验证 启动集群：start-all.sh 启动后先用jps验证线程数是否正确，按照我的配置，master节点线程： 连个slave节点： 为了验证集群mapreduce工作是否正常，可以运行例子程序，例如： 进入相应目录hadoop-2.7/share/hadoo
阅读全文
posted @
2020-04-07 22:50
蔡军帅
阅读(666)
推荐(0) 编辑
大数据Hadoop第五周——Hadoop系统配置、启动Hadoop集群
摘要：大数据第5周 1.Hadoop系统配置 1.1 环境配置 需要配置两个文件：hadoop-env.sh和yarn-env.sh，配置JAVA_HOME变量。 vi hadoop-env.sh，修改成了如下内容： vi yarn-env.sh，增加了一句：export JAVA_HOME=/home/
阅读全文
posted @
2020-03-31 12:53
蔡军帅
阅读(288)
推荐(0) 编辑
大数据Hadoop第四周——免密钥登录设置、配置java和hadoop环境
摘要：大数据第4周 0.检查联网 每次打开虚拟机都无法联网，都忘了打开服务这一步 1.用户名相同 要求三个虚拟机的用户名相同，否者相互访问时需要使用用户名，这样集群会有问题。 如要新增用户，先转换为root用户su root，然后执行以下操作： 添加新用户：useradd 用户名 设置用户密码：pas
阅读全文
posted @
2020-03-24 14:30
蔡军帅
阅读(542)
推荐(0) 编辑
大数据Hadoop第三周——Hadoop集群安装
摘要：大数据第三周： 1.完善CentOS7最小安装版 检查是否能上网，进行系统更新，更新命令：sudo yum update 2.远程使用服务器方法 没有安装GUI，是server系统常用的，但是本机操作并不是很方便，一般server都是远程使用的。如果在linux或mac系统上远程使用，直接使用s
阅读全文
posted @
2020-03-17 10:44
蔡军帅
阅读(278)
推荐(0) 编辑
大数据Hadoop第二周——配置新的节点DataNode及ip地址
摘要：大数据第二周： 安装CentOS7最小安装版 磁盘空间不小于30G，将虚拟磁盘存储为单个文件。 自定义硬件界面上，注意要勾选“虚拟化Intel VT-x或AMD-V/RVI(V)”。 在此界面上，“SOFTWARE SELECTION”保持默认，因为默认就是最小安装。 最小安装完成后，要
阅读全文
posted @
2020-03-17 09:29
蔡军帅
阅读(1286)
推荐(0) 编辑
vm虚拟机中NAT模式怎么连接网络
摘要：确认一下你电脑的 VMware DHCP Service 和 VMware NAT Service 这两个服务是否已经启用，有的优化软件会将其停用。
阅读全文
posted @
2020-03-16 19:29
蔡军帅
阅读(199)
推荐(0) 编辑
大数据Hadoop第一周——虚拟机VM中安装CentOS7
摘要：大数据第一周：安装CentOS7 点击创建新对虚拟机。 选择典型。 指定安装源。 选择安装位置，第一个原则考虑放到不同的物理硬盘上，第二个考虑硬盘接口速度。 对于NameNode，由于我们对开发要在此节点上运行，所以硬盘空间要选择在40G以上。 硬盘文件选择单个，原因是为了提高运行速
阅读全文
posted @
2020-03-03 12:23
蔡军帅
阅读(445)
推荐(0) 编辑
win10下安装Hadoop快速搞定——亲测有效
摘要：参考博客：https://blog.csdn.net/qq_35535690/article/details/81976032 要开学上大数据Hadoop啦，可是老师推荐CentOS7。。。不习惯用虚拟机和这个系统，只好自己摸索着在win10里弄一个，按照下面的步骤，分分钟解决问题。 1.首先到官方
阅读全文
posted @
2020-03-01 21:06
蔡军帅
阅读(8623)
推荐(1) 编辑
