随笔分类 - 大数据开发
大数据开发学习理解与笔记
摘要:https://www.cnblogs.com/roujiamo/p/10116013.html
阅读全文
摘要:https://www.cnblogs.com/jokerq/p/10198028.html oozie4.3.0的安装与配置 + hadoop2.7.3 https://www.cnblogs.com/30go/p/8335523.html
阅读全文
摘要:前文:如果格式化完之后,使用jps命令发现进程都已经启动,但是使用web页面打不开hadoop的网页,可能原因就是防火墙没关或者是哪个配置过程配错了。 1.关闭防火墙 一般最好是关闭防火墙比较关闭。 systemctl stop firewalld.service 关闭防火墙; 禁止自动启动就用 s
阅读全文
摘要:https://blog.csdn.net/yhblog/article/details/84066218
阅读全文
摘要:https://www.jianshu.com/p/22e6133649ca 采用链接的方法试了一下,好像不成功,问题出在 channel.take(); //获取出来的Event为空,不知道为啥
阅读全文
摘要:Kettle使用脚本实现循环(十) https://blog.csdn.net/BushQiang/article/details/90264616 kettle实现循环 https://blog.csdn.net/maenlai0086/article/details/80974866 Kettl
阅读全文
摘要:https://www.cnblogs.com/John-Young/p/6349252.html
阅读全文
摘要:http://www.mamicode.com/info-detail-2320006.html
阅读全文
摘要:https://blog.csdn.net/weixin_44481878/article/details/89208183
阅读全文
摘要:kettle中文官网: http://www.kettle.net.cn/ kettle官方文档英文: https://community.hitachivantara.com/s/article/data-integration-kettle https://www.cnblogs.com/mq0
阅读全文
摘要:https://blog.csdn.net/wodatoucai/article/details/53263770
阅读全文
摘要:jps位于jdk的bin目录下,其作用是显示当前系统的java进程情况,及其id号。 jps相当于Solaris进程工具ps。不像”pgrep java” 或”ps -ef grep java”,jps并不使用应用程序名来查找JVM实例。因此,它查找所有的Java应用程序,包括即使没有使用java执
阅读全文
摘要:现有如下数据文件需要处理格式:CSV位置:hdfs://myhdfs/input.csv大小:100GB字段:用户ID,位置ID,开始时间,停留时长(分钟) 4行样例: UserA,LocationA,2018-01-01 08:00:00,60UserA,LocationA,2018-01-01
阅读全文
摘要:由于要做大数据项目,来巩固所学知识点,但不知道数据从哪里获取,现在知道了一个获取数据集的好地方: https://tianchi.aliyun.com/dataset/ 是阿里云上面的一个数据集获取的地方,可以试试。 另外还有是其他博友推荐的,也可以试试: https://blog.csdn.net
阅读全文