摘要： 报错信息如下 原因分析 集群中运行的container尝试使用更多的内存 ，但是被NodeManager给中断了 解决措施 配置所需内存大小 在/opt/software/hadoop-3.1.3/etc/hadoop/下的mapred-site.xml中添加如下配置：（其中的数字大小可以根据自己电 阅读全文

摘要： 报错信息截图 解决措施 按提示所言，相关的类路径信息不全 获取所有的类路径 hadoop classpath 然后在etc/hadoop/mapred-site.xml中加入下面这个标签。其中<value>里面的值就是上面hadoop classpath运行后的输出内容 <property> <na 阅读全文

摘要： 报错信息截图 可以很明确的看到报错信息，/bin/java未生效，原因是我是用的配置环境的方式使用的jdk，未采用yum过进行安装jdk 解决措施：创建真实的jdk目录到/bin/java 创建软链接 ln -s /opt/software/jdk1.8.0_201/bin/java /bin/ja 阅读全文

摘要： 1、项目创建和环境配置 new project 确定项目所属组及名称，以及存放目录 创建scala目录 将scala目录设置为Sources Root 添加scala支持 2、Hello world package chapter01 /* * object : 关键字，申明一个单例对象（伴生对象） 阅读全文

摘要： 来源：https://zhile.io/2020/11/18/jetbrains-eval-reset-da33a93d.html 1.导入第三方插件库 2.安装IDE Eval Reset插件 3.重启IDEA 阅读全文

摘要： 说明：在ubuntu下新安装的idea，无法输入中文 输入法：ibus 解决方式如下： 1.在idea.sh中加入 export XMODIFIERS="@im=ibus" export GTK_IM_MODULE="ibus" export QT_IM_MODULE="ibus" 2.启动idea 阅读全文

摘要： 1 服务器迁移后数据量对（表、视图、索引、存储过程、函数、包体)比较 -- (1) 当前用户表总数量新旧差异 SELECT 'xxx' NAME, COUNT(1) C_COUNT, 'TABLE' PROJECT_NAME FROM DBA_OBJECTS T WHERE T.OBJECT_TYP 阅读全文

摘要： 1 HDFS的定义 HDFS（Hadoop Distributed File System）,是一个分布式的目录树文件系统，适合用一次写入多次读出的场景。 2 HDFS的优缺点 2.1 优点 高容错性 数据自动保存多个副本，即通过增加副本的形式，提高容错性。 适合处理大数据 数据规模：可达PB级别的 阅读全文

摘要： 1 集群部署规划 集群部署规划 pcnode01 pcnode02 pcnode03 HDFS NameNodeDataNode DataNode SecondaryNameNodeDataNode YARN NodeManager ResoureManagerNodeManager NodeMan 阅读全文

摘要： 主机的hostname不合法，修改为不包含着‘.’ '/' '_'等非法字符 阅读全文