新界王

摘要： 数仓项目常见问题汇总 Hive常见错误总结 一、启动hive，执行sql插入数据时出现 error 30041 Error while processing statement: FAILED: Execution Error, return code 30041 from org.apache.h 阅读全文

摘要： Flink数仓项目常见问题总结 一、开发中的常见bug 1、OutputTag的对象新建问题缺少花括号 Exception in thread "main" org.apache.flink.api.common.functions.InvalidTypesException: Could not 阅读全文

摘要： 系统命令 ctrl+c 停止进程 ctrl+l 清屏 reset 彻底清屏 ctrl+q 退出 tab键 补全代码 上下键 查找执行过的代码 echo 输出内容到控制台 ctrl+alt linux和windows之间的切换 pwd 打印当前工作目录的绝对路径 poweroff 关闭虚拟机 env 阅读全文

摘要： yarn跑hive的任务失败 这是hive的报错日志信息 由于资源不够导致动态生成分配资源失败，所以调优需谨慎！！！！ 这是执行失败的时候报的错 ERROR [HiveServer2-Background-Pool: Thread-85] spark.SparkTask: Failed to exe 阅读全文

摘要： 一、忘记密码 1、vim /etc/my.cnf 在文件中加入 ：skip-grant-tables （这样就可以免密登录了） 2.进入到mysql数据库 运行命令：mysql -u root mysql -u root 3.修改密码 运行语句：use mysql;​继续运行语句：update my 阅读全文

摘要： 一、Shuffle的作用是什么？Shuffle的中文解释为“洗牌操作”，可以理解成将集群中所有节点上的数据进行重新整合分类的过程。其思想来源于hadoop的mapReduce,Shuffle是连接map阶段和reduce阶段的桥梁。由于分布式计算中，每个阶段的各个计算节点只处理任务的一部分数据，若下 阅读全文

摘要： 1; 复制选中行 ctrl+alt+down 复制该行内容到下一行 ctrl + down 光标到下一行 alt +down 2;自动对齐 ctrl+out+L 4; 往下一行 shift+enter ctrl+f 在当前页面搜索​双击shift 全局搜索​ctrl+shift+T 搜索类​ctrl 阅读全文

摘要： 原因：本地库和远程库的内容不一致，我的是由于新建远程库的时候添加了点内容，导致idea无法将项目push到远端，首次push项目到远端仓库时，一定要保证新建仓库为空！！！ 解决办法：在hint中也有提示把远程库同步到本地库就可以了，命令：git pull --rebase origin master 阅读全文

摘要： 这种一般是版本不一致导致的命令不存在，根据下面的命令提示看这三个命令那个存在用哪个：--bootstrap-server，--broker-list,--zookeeper broker-listbroker指的是kafka的服务端，可以是一个服务器也可以是一个集群。producer和consume 阅读全文

摘要： Hadoop ERROR :Could not locate executable null \bin\winutilsexe in the Hadoop binaries. 如果本机操作系统是Windows，在程序中使用了Hadoop相关的东西，比如写入文件到HDFS，则会遇到如下异常： 出现这个 阅读全文