随笔分类 - 大数据-hadoop
摘要:## 计数直接上代码```javapublic class LocalStormSumTopology { public static void main(String[] agrs) { //Topology是通过build模式创建出来的 //storm中的所有作业都是通过topology来指定的 TopologyBuilder builder =...
阅读全文
摘要:## 一. mini安装一台centos到虚拟机上安装过程参考这篇博客[http://www.linuxdown.net/install/setup/2015/0906/4053.html](http://www.linuxdown.net/install/setup/2015/0906/4053.html)## 二. 修改网络配置文件1. 看百度网址是否能ping通,如果可以,使用命令ifcon...
阅读全文
摘要:[参考这篇博客](http://blog.csdn.net/dd864140130/article/details/51718187)> 经过测试,8.0源码下载及编译之后,占用100多G的硬盘空间,尽量给ubantu系统多留一些硬盘空间,如果后续需要在编译好的源码上进行开发,需要预留更多的控件,为了防止后续出现文件权限问题,建议使用root用户进行开发**分为4个流程**> 1. 源码下载> 2...
阅读全文
摘要:> Spring-boot的特点是,通过注入的方式生成FsShell对象,来操作HDFS,其底层封装了HDFS的的shell命令#### 1. 添加Spring-boot依赖**pom.xml文件**```xml org.springframework.data spring-data-hadoop-boot 2....
阅读全文
摘要:> SpringHadoop是通过Spring框架来调用hdfs,跟直接调用hdfs的最大的不同区别是Spring通过依赖注入的方式生成操作hdfs所需要的configuration和filesystem对象,其他所有调用hdfs的api不变#### 1.在项目的main目录下创建resources文件夹,并将其添加到项目的资源文件中,如图![-w300](http://images2017.cn...
阅读全文