摘要: 1. 自动代码 常用的有fori/sout/psvm+Tab即可生成循环、System.out、main方法等boilerplate样板代码 例如要输入for(User user : users)只需输入user.for+Tab 再比如,要输入Date birthday = user.getBirt 阅读全文
posted @ 2019-07-12 15:58 玩转大数据 阅读(314) 评论(0) 推荐(0) 编辑
摘要: Problem:Java利用快捷键查看源代码显示Source not found 出现问题的原因:JDK目录下缺失src.zip文件只有javafx-src.zip src.zip文件:Java所有类的源代码 下载src.zip地址:https://pan.baidu.com/s/1_SdoulFk 阅读全文
posted @ 2019-06-05 09:46 玩转大数据 阅读(1163) 评论(0) 推荐(0) 编辑
摘要: lateral view表的关联只能和explode使用 explode炸裂函数,只能炸裂Array Map 列:select id,name,type from table_name lateral view explode(split(types,"\\|")) t as type; hive> 阅读全文
posted @ 2019-05-14 15:11 玩转大数据 阅读(1282) 评论(0) 推荐(0) 编辑
摘要: 1.上传jar包 2. tar -zxvf apache-flume-1.6.0-bin.tar.gz 分发 3.vim /etc/profile//配置环境变量export FLUME_HOME=/root/Downloads/apache-flume-1.6.0-binexport PATH=$ 阅读全文
posted @ 2019-05-14 14:52 玩转大数据 阅读(160) 评论(0) 推荐(0) 编辑
摘要: 1.hive的安装解压就完事了配置/etc/profile环境变量启动hdfs启动hivecp $HIVE_HOME/lib/jline.xxxxx $HADOOP_HOME/share/hadoop/yarn/lib2.show databases;查看数据库3.show tables;4.cre 阅读全文
posted @ 2019-05-07 08:23 玩转大数据 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 1 时间同步 2 历史服务器 3 日志合并 配置 ntp服务器 修改配置文件 vim /etc/ntp.conf server 127.127.1.0fudge 127.127.1.0 stratum 10 restrict default ignorerestrict 192.168.10.0 m 阅读全文
posted @ 2019-04-11 20:55 玩转大数据 阅读(156) 评论(0) 推荐(0) 编辑
摘要: Hdfs dfs -cat path hadoop fs - 等同 1 -ls 查看当前目录的文件和文件夹 2 -lsr 递归查看 3 -du 查看文件的大小 4-dus 查看文件夹中所有的文件大小 5-Count 统计数量 文件夹 文件 文件大小总和 6-Mv:移动 改名 移动文件夹 7 -cp 阅读全文
posted @ 2019-04-10 20:59 玩转大数据 阅读(763) 评论(0) 推荐(0) 编辑
摘要: 修改主机名:vim /etc/sysconfig/network 1 修改 hadoop-env.sh 2 修改core-site.xml /hadoop/tmpdir: 产生 namenode中fsimasage 和edits文件 合并元数据 3 修改 hdfs-site.xml 4 yarn-s 阅读全文
posted @ 2019-04-10 09:03 玩转大数据 阅读(309) 评论(0) 推荐(0) 编辑
摘要: 安装伪分布式流程 1.关防火墙 2.设置IP地址 3.设置network文件hosts映射文件 4.安装jdk 5.安装hadoop 6.配置hadoop: hadoop-env.sh、core-site.xml、hdfs-site.xml、 Mapred-site.xml、yarn-site.xm 阅读全文
posted @ 2019-04-04 16:14 玩转大数据 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 集群是个物理形态,分布式是个工作方式。 只要是一堆机器,就可以叫集群,他们是不是一起协作着干活,这个谁也不知道; 一个程序或系统,只要运行在不同的机器上,就可以叫分布式,嗯,C/S架构也可以叫分布式。 集群一般是物理集中、统一管理的,而分布式系统则不强调这一点。 所以,集群可能运行着一个或多个分布式 阅读全文
posted @ 2019-04-03 20:10 玩转大数据 阅读(181) 评论(0) 推荐(0) 编辑