12 2016 档案

openfire更改数据库
摘要：修改openfire安装目录下./conf/openfire.xml <setup>true</setup>中的true为false，重新启动，然后配置 阅读全文
posted @ 2016-12-28 17:27 天之涯0204 阅读(282) 评论(0) 推荐(0)
spark 基本操作
摘要：读取文件的数据 使用的数据：https://codeload.github.com/xsankar/fdps-v3/zip/master 读取单个文件的数据 数据转换成一个视图，通过sql查询 join查询 数据的读取和写出 统计方法 线性回归 分类 聚类 推荐 阅读全文
posted @ 2016-12-20 16:12 天之涯0204 阅读(3245) 评论(0) 推荐(0)
spark读取hdfs上的文件和写入数据到hdfs上面
摘要：def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.set("spark.master", "local") conf.set("spark.app.name", "spark demo") val sc = new SparkContext(conf); ... 阅读全文
posted @ 2016-12-16 11:15 天之涯0204 阅读(51777) 评论(1) 推荐(0)
spark读取hbase数据
摘要：保存数据到hbase数据库中 阅读全文
posted @ 2016-12-09 09:11 天之涯0204 阅读(4345) 评论(0) 推荐(0)
spark转换集合为RDD
摘要：SparkContext可以通过parallelize把一个集合转换为RDD 阅读全文
posted @ 2016-12-08 14:31 天之涯0204 阅读(10455) 评论(0) 推荐(0)
spark编写word count
摘要：创建SparkContext对象的时候需要传递SparkConf对象，SparkConf至少需要包含spark.master和spark.app.name这两个参数，不然的话程序不能正常运行 maven pom.xml如下 打包提交spark集群运行 本地运行如果hdfs权限有问题，则可以按如下配置 阅读全文
posted @ 2016-12-08 14:24 天之涯0204 阅读(402) 评论(0) 推荐(0)
nexus
摘要：下载地址：http://pan.baidu.com/s/1nvwIoa9 (Jfrog/Nexus) maven 仓库： http://mvnrepository.com/ 用户名密码分别是：admin/admin123 使用持续集成服务器（CI）： HUDSON jenkins 阅读全文
posted @ 2016-12-08 14:21 天之涯0204 阅读(123) 评论(0) 推荐(0)
spark 源码安装
摘要：clone 源码 git clone git://github.com/apache/spark.git maven编译源码 国外镜像比较慢，此处修改maven仓库的镜像为阿里云镜像： 编译的时候内存设置大一点，以免内存溢出，导致编译失败，此处设置maven内存如下： mvn -Pyarn -Pha 阅读全文
posted @ 2016-12-08 14:21 天之涯0204 阅读(235) 评论(0) 推荐(0)
spark shell
摘要：启动spark-shell客户端 spark自带的交互式shell程序，可以在该命令行下使用scala编写spark程序 启动spark-shell bin/spark-shell \--master spark://m1:7077 \--executor-memory 512m \--total- 阅读全文
posted @ 2016-12-06 10:20 天之涯0204 阅读(688) 评论(0) 推荐(0)
maven
摘要：下载 wget http://apache.fayea.com/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz 解压 tar -zxvf apache-maven-3.3.9-bin.tar.gz 配置环境变量 vi /etc/p 阅读全文
posted @ 2016-12-02 14:23 天之涯0204 阅读(172) 评论(0) 推荐(0)
git
摘要：centeros 安装git yum -y install git clone代码 git colne git://github.com/apache/spark.git 阅读全文
posted @ 2016-12-02 10:35 天之涯0204 阅读(99) 评论(0) 推荐(0)