摘要: 1、使用myeclipse10整合maven插件时出现错误; 解决办法: 先把maven目录设置到环境变量 接着在myEclipse,选择自己的使用的jre, 在自己使用的jdk环境设置:-Dmaven.multiModuleProjectDirectory=$M2_HOME 阅读全文
posted @ 2016-10-20 14:55 骁枫 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 原文:http://shiyanjun.cn/archives/744.html 该论文来自Berkeley实验室,英文标题为:Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Com 阅读全文
posted @ 2016-10-14 15:04 骁枫 阅读(377) 评论(0) 推荐(0) 编辑
摘要: 原文:https://my.oschina.net/infiniteSpace/blog/312890?p=1 http://www.inter12.org/archives/842 阅读全文
posted @ 2016-10-12 17:56 骁枫 阅读(6022) 评论(0) 推荐(0) 编辑
摘要: 去https://www.microsoft.com/zh-CN/download/details.aspx?id=30679下载 VSU4\vcredist_x64.exe 和VSU4\vcredist_x86.exe 分别尝试安装,看是否解决问题,有时候不是根据计算机位数来着。 阅读全文
posted @ 2016-10-10 17:42 骁枫 阅读(6655) 评论(0) 推荐(0) 编辑
摘要: 一、下载kafka: http://kafka.apache.org/downloads 二、解压 tar -zxvf kafka_2.10-0.10.0.1.tgz 三、kafka需要用到zookeeper,可以是单节点,也可以是zk集群。 (1)、单节点zk kafka本身自带了一个测试zk,可 阅读全文
posted @ 2016-10-09 16:49 骁枫 阅读(930) 评论(0) 推荐(0) 编辑
摘要: 一、代理是Java常用的设计模式,代理类通过调用被代理类的相关方法,并对相关方法进行增强。加入一些非业务性代码,比如事务、日志、报警发邮件等操作。 二、jdk静态代理 1、业务接口 2、业务实现类 3、代理类 4、测试类 5、结果 三、jdk动态代理 1、业务接口 2、业务接口实现类 3、代理类 4 阅读全文
posted @ 2016-10-09 11:01 骁枫 阅读(6536) 评论(0) 推荐(1) 编辑
摘要: 一、下载:http://hive.apache.org/,选择合适的版本,Hive 1.X版本要求Hadoop2.x以上版本,Jdk1.7以上 这里选择1.2.1版本 二、安装jdk 略 三、安装Hadoop 略 四、安装Hive 1、tar -zxvf apache-hive-1.2.1-bin. 阅读全文
posted @ 2016-09-28 11:14 骁枫 阅读(481) 评论(0) 推荐(0) 编辑
摘要: 一、安装jdk 二、安装scala 三、安装Spark 1、解压 tar -zxvf spark-1.5.1-bin-hadoop2.6.tgz 2、cp spark-env.sh.template spark-env.sh vi spark-env.sh 3、work节点,输入主机名或者ip cp 阅读全文
posted @ 2016-09-28 11:14 骁枫 阅读(268) 评论(0) 推荐(0) 编辑
摘要: 现在的需求是在一台Flume采集机器上,往Hadoop集群上写HDFS,该机器没有安装Hadoop。 这里的Flume版本是1.6.0,Hadoop版本是2.7.1. 把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去,把 阅读全文
posted @ 2016-09-19 16:30 骁枫 阅读(5165) 评论(0) 推荐(0) 编辑
摘要: 一、安装jdk jdk版本最好是1.7以上,设置好环境变量,安装过程,略。 二、安装Maven 我选择的Maven版本是3.3.3,安装过程,略。 编辑Maven安装目录conf/settings.xml文件, 三、安装Idea 安装过程,略。 四、创建Spark项目 1、新建一个Spark项目, 阅读全文
posted @ 2016-09-19 11:49 骁枫 阅读(25667) 评论(3) 推荐(1) 编辑