02 2019 档案
摘要：注释： mr job执行流程 mr on yarn架构 yarn架构设计 这三种叫法是同一个问题 YARN =Yet Another Resource Negotiator 1.用户向yarn提交应用程序(job)，其中包括applicationMaster程序、启动applicationMaste
阅读全文
摘要：java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn't belong to this node at all. 参考：https://bl
阅读全文
摘要：副本放置策略机架知识生产上 尽量将读写的动作 选取DN节点机架，一台机架放5台服务器，本来按位置来说可以放10个但是我们只放5个，原因是一台机架的电量是多大，一个机柜的电流的安培是有标准的（10A，20A，40A，还可以改造）所以每台机架放置服务台数的标准就是用机柜电流量的大小除以每台服务器所需电流
阅读全文
摘要：读流程FSDataIutputStream1.Client通过FileSystem.open(filePath),去与NN进行【RPC】通信，返回该文件的部分或全部的block列表，也就是返回FSDataInputStream对象。 2.Client调用【FSDataInputStream】对象的r
阅读全文
摘要：HDFS写流程[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -put LICENSE.txt /19/02/20 21:30:22 WARN util.NativeCodeLoader: Unable to load native-hadoop
阅读全文
摘要：云主机被挖矿的表现，机器运行很慢。 top命令发现有进程的cpu百分之100多，这种情况下基本上就是被挖矿了。（top命令的第一列就会进程的pid） 此时ps -ef|grep PID看一下这个进程是不是我们自己的进程，如果确定不是即执行以下操作 crontab -l crontab -e 出现以下
阅读全文
摘要：snn是对nn的edits和fsmaqe进行备份的，备份频率为一小时一次并且备份是全部备份不是部分备份，就是从第一个edits文件到最新的文件全部备份 1.创建一个新的编辑日志文件edits.new，后续对文件系统的任何修改都记录到这个新编辑日志里；最后： 将新的编辑日志edits.new改名为ed
阅读全文
摘要：HDFS架构设计进程namenode nn 名称节点secondary namenode snn 第二名称节点datanode dn 数据节点 主从架构Rack : 机架 可以放多个主机 10个 GPU主机 5个 nn: 文件系统的命名空间a.文件名称b.文件目录结构c.文件属性 创建时间 权限 副
阅读全文
摘要：块block块的默认大小128M 块的副本数3 配置文件 hdfs-site.xml 配置信息从官网查询 浏览器输入hadoop.apache.org 点击Learn more 出来以下页面病点击Single Node Setup 单节点部署 点击单节点部署以后出来以下页面，在最左下角查找相关文件的
阅读全文
摘要：1.hosts文件无论Linux还是window系统都有hosts文件 Linux/mac： hosts 文件目录 /etc/hosts局域网内网机器 /VM : 内网ip云服务器: 内网ip + 外网ip(ssh链接、打开服务web界面、对外提供服务) 总结 云服务器本身自己组成的一个网络，会有一
阅读全文
摘要：1.查看当前目录 ll 或者 ls2.输入一个命令，报错为command not found 你认为该怎么办which +命令 看一下命令是否存在看一下配置文件/etc/profile 全局配置文件永久性alias看一下别名是否被定义 3.杀死进程，你认为应该做什么 确定好要杀死进程的进程号，如果要
阅读全文
摘要：保持在现有的JDK版本，如JDK7、JDK8 如果需要升级，可以考虑付费订阅 或者AdoptOpenJDK 升级到JDK11这样的LIS版本 除非有特定需求，不要选择JDK9/10/12这样的版本 JDK集合底层很多都改，面试的时候要说明版本之类的 过度版本，不是长期支持版本！
阅读全文
摘要：1.分组函数有哪些?max 最大值min 最小值sum 求和 avg 求平均值 count 求个数2.分组语法是什么? 我们要注意什么?group by 的用法: group by 的后面跟的是分组的条件， 例如用 stu_no 进行分组，可以写成 group by stu_no 如果需要多重分组，
阅读全文
摘要：1. alias alias rzcd='cd /root/ruozedata/' 注意 此处的=前后一定不要有空格 如果有空格会报错 当前session生效 /###/这是当前session生效 永久生效 怎么配置？ 永久生效 全局环境变量文件 /etc/profile root jepson等等
阅读全文
摘要：运行mapreducemap 映射reduce 规约 [hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar
阅读全文
摘要：查看日志的方法 hadoop-hadoop-datanode-hadoop002.loghadoop-用户-进程名称-机器名称hadoop日志分为log日志和out日志，我们基本上只看log日志[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ cd logs/[ha
阅读全文
摘要：2.jps命令的真相2.1位置哪里的[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ which jps/usr/java/jdk1.8.0_45/bin/jps 2.2对应的进程的标识文件在哪 /tmp/hsperfdata_进程用户名称 [hadoop@hado
阅读全文
摘要：构建ssh信任关系 之前的配置也是可以的，但是我们为了统一 重新再来一次配置[hadoop@hadoop002 ~]$ rm -rf .ssh[hadoop@hadoop002 ~]$ ssh-keygenGenerating public/private rsa key pair.Enter fi
阅读全文
摘要：1.hdfs三个进程分别为namenode、datanode、secondarynamenode hdfs是hadoop的一个组件，hadoop一共有3个组件分别为hdfs，yarn，mapreduce，这三个组件的功能分别为存储，调度，计算 hdfs三个进程要以hadoop002启动需要配置文件，
阅读全文
摘要：Yarn: 资源和作业调度 是需要部署的 MapReduce on Yarn http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html查看以下内容的官网 Configure pa
阅读全文
摘要：Hadoop:广义: 以apache hadoop软件为主的生态圈(hive zookeeper spark hbase)狭义: apache hadoop软件 hadoop.apache.orghive.apache.orgspark.apache.org hadoop软件:1.x 企业不用2.x
阅读全文
摘要：解决方法 1.打开我的电脑找到卸载或更改程序（自己在开始里搜索也行 不一样的window系统不一样的页面 我的是win10） 点击右侧的相关设置下的程序和功能 然后点击左侧的启用和关闭window功能 点击后会弹出一个小窗口，提示请稍后，部分电脑在这里可能会卡一段时间，属正常现象，稍等片刻就可以了，
阅读全文
摘要：报错： Caused by: org.xml.sax.SAXParseException; systemId: file:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/hdfs-site.xml; lineNumber: 25; columnNu
阅读全文
摘要：create database jepsondb;grant all privileges on jepsondb.* to jepsonuser@'%' identified by '123456';flush privileges; use jepsondb; --部门表dept部门表(dept
阅读全文
摘要：#表 tablecreate table rzdata(id int AUTO_INCREMENT primary key, stu_num int,stu_name varchar(100),stu_age int, createtime timestamp default current_tim
阅读全文
摘要：4.DDL: create,dropDML : insert update delete selectDCL: grant a.DDL 数据定义语言 create drop alterb.DML 数据操作语言 select insert update deleteb.DCL 数据控制语言 grant
阅读全文
摘要：1.创建一个新的DB和用户ruozecreate database ruozedata;grant all privileges on ruozedata.* to ruoze@'%' identified by '123456'; *.* 用户@'%' 用户@'127.0.0.1' 密码% MyS
阅读全文
摘要：2.专门的软件会有专门的用户去部署 运行oa系统 oaadminerp系统 erpadmin mysql 一个关系型数据库 oracle oraclepostgresql sqlserver id name age1 ruoze 182 20 1.Download and Check MD5[roo
阅读全文
摘要：RPM部署MYSQL在生产上基本上用tar包安装装，原因如下1.MYSQLRPM安装：一般是个人学习 测试 快速部署使用RPM包安装完是在四目录下的，万一这个目录空间不够了，问题严重，所以需要蒋这个目录挂载到空间大的盘下tar安装：是定制化 企业级 （公司生产安装基本上用这种） MYSQL部署步骤网
阅读全文
