随笔分类 -  大数据-hadoop

摘要:## 计数直接上代码```javapublic class LocalStormSumTopology { public static void main(String[] agrs) { //Topology是通过build模式创建出来的 //storm中的所有作业都是通过topology来指定的 TopologyBuilder builder =... 阅读全文
posted @ 2018-02-11 14:56 骑猪去流浪 阅读(1386) 评论(0) 推荐(0) 编辑
摘要:## 一. mini安装一台centos到虚拟机上安装过程参考这篇博客[http://www.linuxdown.net/install/setup/2015/0906/4053.html](http://www.linuxdown.net/install/setup/2015/0906/4053.html)## 二. 修改网络配置文件1. 看百度网址是否能ping通,如果可以,使用命令ifcon... 阅读全文
posted @ 2018-02-06 16:37 骑猪去流浪 阅读(3237) 评论(0) 推荐(0) 编辑
摘要:[参考这篇博客](http://blog.csdn.net/dd864140130/article/details/51718187)> 经过测试,8.0源码下载及编译之后,占用100多G的硬盘空间,尽量给ubantu系统多留一些硬盘空间,如果后续需要在编译好的源码上进行开发,需要预留更多的控件,为了防止后续出现文件权限问题,建议使用root用户进行开发**分为4个流程**> 1. 源码下载> 2... 阅读全文
posted @ 2018-02-02 17:14 骑猪去流浪 阅读(712) 评论(0) 推荐(0) 编辑
摘要:> Spring-boot的特点是,通过注入的方式生成FsShell对象,来操作HDFS,其底层封装了HDFS的的shell命令#### 1. 添加Spring-boot依赖**pom.xml文件**```xml org.springframework.data spring-data-hadoop-boot 2.... 阅读全文
posted @ 2018-01-31 00:08 骑猪去流浪 阅读(875) 评论(0) 推荐(0) 编辑
摘要:> SpringHadoop是通过Spring框架来调用hdfs,跟直接调用hdfs的最大的不同区别是Spring通过依赖注入的方式生成操作hdfs所需要的configuration和filesystem对象,其他所有调用hdfs的api不变#### 1.在项目的main目录下创建resources文件夹,并将其添加到项目的资源文件中,如图![-w300](http://images2017.cn... 阅读全文
posted @ 2018-01-30 21:51 骑猪去流浪 阅读(1285) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示