10 2021 档案
摘要：报错信息： System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-mem spark连接hadoop集群 解决方法： 这主要是运行内存的问题，所以我们在运行的时
阅读全文
摘要：一、sqoop与mysql 1.列出mysql库中所有数据库 sqoop list-databases -connect jdbc:mysql://192.168.1.10:3306 -username root -password root 2.列出数据库sqoop中的所有数据表 sqoop li
阅读全文
摘要：1、修改crontab打开方式(个人喜欢vi),在终端输入 EDITOR=vi;export EDITOR 2、在crontab -e 中添加定时任务,如下每天凌晨3.30分进行脚本任务 30 3 * * * sh [脚本路径] 3、提前写好fastdfs 删除脚本，创建deleteFastdfs.
阅读全文
摘要：文件路径：C:\WINDOWS\system32\drivers\etc。 在命令行执行以下命令可以立即刷新DNS缓存，使host文件修改立即生效 ipconfig /flushdns
阅读全文
摘要：错误： java.sql.SQLException: No suitable driver found for jdbc:hive://localhost:10000/default at java.sql.DriverManager.getConnection(DriverManager.java
阅读全文
摘要：注意： !connect jdbc:hive2://node04:10000 node04节点开启hiveserver2角色，不然会报连接失败 客户端进入beeline并连接： [root@node03 ~]# beeline Beeline version 1.2.1 by Apache Hive
阅读全文
摘要：在hadoop 的core-site.xml添加如下内容 然后重启 <property> <name>hadoop.proxyuser.root.groups</name> <value>root</value> <description>Allow the superuser oozie to i
阅读全文
摘要：先输入下面命令，确定metostore能不能启动 再确认9083端口有没有启动 再确认hive能不能进入shell 再输入命令hiveserver2 确认10000端口 最后输入两个命令，终于解决了！ beeline !connect jdbc:hive2://node01:10000/defaul
阅读全文
