08 2022 档案
摘要：今天是第九周周六，在这一周，学习了gut的操作和github的一些操作，git是所有程序员都需要掌握的，git实现多人多团队共同开发，github更不用说了，不仅作为团队工作的远程库，里面还是开源的世界性的代码平台，里面的功能还有很多，例如actions的自动执行操作，最近很火的微信自动推送天气信息
阅读全文
摘要：在C盘->用户->自己的用户 下运行git命令 出现.ssh文件，里面出现一个公钥和私钥。 公钥复制到github里， 运用：可以用ssh来pull和push.
阅读全文
摘要：团队合作： 团队内协作：单个远程库。两个github需要互联。 跨团队合作：多个远程库。b远程库fork a远程库的代码 改完代码需要 pull requests 审核后 a远程库可以合并代码了 Github: git remote -v 查看当前别名 git remote add 别名 远程库的h
阅读全文
摘要：分支： 在版本控制过程中。同时推进多个任务，为每个任务可以创建单独的分支，相当于一个单独的副本。例如开发分支和用户使用分支。 分支的操作: git branch 分支名 创建分支 git branch -v 查看分支 git checkout 分支名 切换分支 git merge 分支名 把指定的分
阅读全文
摘要：Git 常用命令： 用户签名： git config --global user.name 设置用户签名 git config --global user.email 设置邮箱签名 这两个命令在使用之前一定要设置一次，否则后续会报错，配置文件在c盘->用户->当前所在用户->.gitconfig文件
阅读全文
摘要：今天来学习git 版本工具：集中式版本控制和分布式版本控制 git就是分布式版本控制，相较于集中式优点：服务器断掉的情况下也可以进行开发，每个客户端保存的都是整个完整的项目。 github工作机制：工作区(写代码) (git add) >缓存区(临时存储) (git commit)-->本地库(历史
阅读全文
摘要：文件的更名和移动: 获取文件详细信息 遇到的问题：不能直接在web上上传文件。 权限问题：修改后即可正常创建 参考：https://blog.csdn.net/weixin_44575660/article/details/118687993
阅读全文
摘要：参数优先级： 拿副本数举例子，优先级： hdfs-default.xml => hadfs.xml => 在项目资源目录下的优先级高 => 代码里的配置优先级高 文件下载： 结果： 删除操作：
阅读全文
摘要：客户端代码格式： 1、获取一个客户端对象 2、执行相关的操作命令 3、关闭资源 简单的创建文件目录操作 代码可以进行封装，封装完成后： 运行结果： 遇到的问题： 解决办法： 将pom文件中 junit的引用设置scope为compile
阅读全文
摘要：这是第八周，这一周学了写什么？把hadoop的三个虚拟机配置完成，然后在真实的电脑上进行三个虚拟机的一些操作，一些文件和目录的操作，然后接着视频教程就是一些原理性的东西，再接着就是一些案例或者更具体的学习，但是我现在一些其他的基础还不太会，例如 git JS python java框架 前端框架 g
阅读全文
摘要：HDFS API操作 在Windows上操作hadoop，需要添加hadoop依赖，我的hadoop是3.3.1版本的，我用的依赖是3.2.0的，需要配置环境变量 PATH添加如下路径： 然后双击依赖中的 一闪而过就是成功的。 在maven项目中添加如下依赖 <dependencies> <!--
阅读全文
摘要：HDFS文件块 HDFS的文件在物理上是分块存储 块的大小可以通过配置参数来规定，一般是2^n，2.x/3.x是128M，1.x中是64M。 块设置的太大，会增大处理时间。 块设置的太小，会增加寻址时间。 HDFS块大小设置主要取决于磁盘传输速率。 HDFS的SHell操作 命令首先启动Hadoop
阅读全文
摘要：集群时间同步 为了使三台服务器的时间一致，而且服务器没有连接外网的话，需要进行集群时间同步。一般虚拟机的时间是同步的，所以这个过程我们不需要配置。 下面开始学习Hadoop_HDFS hdfs解决海量问题的存储问题，是一个文件系统。用来存储文件，通过目录树来定位文件，分布式的，适合一次写入，多次读出
阅读全文
摘要：一些命令 各个模块分开启动/停止(配置SSH是前提) 整体启动/停止HDFS start-dfs.sh/stop-dfs.sh 2.整体启动/停止YARN start-yarn.sh/stop-yarn.sh 各个服务组件逐一启动/停止 分别启动/停止HDFS组件 hdfs --daemon sta
阅读全文
摘要：配置日志的聚集(图片是错误的，导致找了好长时间的错误） yarn-site.xml文件 <!--开启日志聚合--><property> <name>yarn.log-aggregation-enable</name> <value>true</value></property> <!--设置日志聚集
阅读全文
摘要：配置历史服务器 配置mapred-site.xml文件 <!--历史服务器地址--><property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value></property> <!--指定历史服务器we
阅读全文
摘要：不知不觉又过去了一周，这已经是第六周了，因为期间有些事情，所以这篇博客也是后来补的，也是把前几天学习内容也补上了，目前为止，服务器的话已经配置好了，下面开始下一阶段的学习了，在这之前还需要把前面的步骤串一下，使自己更加了解，还有一些基础问题需要搞清楚，比如常用端口号，常用的配置文件。我学习的是had
阅读全文
摘要：测试： 创建空目录： 创建成功： 上传小文件： 上传成功 上传大文件： 文件的存储位置： 当遇到故障时候，先停掉集群，再删除每个集群的data和logs，最后再格式化。 再次启动集群就可以了 发现的问题：上传文件成功后没有提示
阅读全文
摘要：配置workers 进入hadoop/etc/hadoop 编辑workers文件 然后分发给另外两个服务器 准备启动集群 第一次需要初始化. 初始化完成后增加了data文件 ， 进入上面那个路径，就能看到当前服务器的版本号 启动HDFS 启动完毕 102 103 104 在配置了ResourseM
阅读全文
摘要：集群配置 NameNode 和SecondaryNameNode不要安装在同一台服务器上 ResourceManager也很耗内存，不要和NameNode、SecondaryNameNode放在一台服务器上 配置文件 Hadoop配置文件分为默认配置文件和自定义配置文件 自定义配置文件: 核心全局配
阅读全文
摘要：实现SSH免密登陆 1、在A服务器上创建密钥对(公钥和私钥) 输入这个命令后，四次回车 2、将公钥拷贝给B服务器，授权key 3、ssh访问B服务器 4、B服务器接收数据后，去授权key中查找A服务器的公钥，并解密数据 5、采用A公钥加密的数据返回给A 6、接收数据后，用A的私钥解密数据 配置102
阅读全文
摘要：rsync 远程同步工具 rsync -av $pdir/$fname $user@$host:$pdir/$fname 参数 要拷贝的文件路径/名称 目的地用户@主机：目的地路径/名称 选项 功能 -a 归档拷贝 -v 显示复制过程 每次输入命令太过复杂，可以完成一个集群分发脚本。 1、rsync
阅读全文
