摘要:我们都知道Maven本质上是一个插件框架,它的核心并不执行任何具体的构建任务,所有这些任务都交给插件来完成。 例如编译源代码是由maven-compiler-plugin完成的。 进一步说,每个任务对应了一个插件目标(goal),每个插件会有一个或者多个目标。 例如maven-compiler-pl
阅读全文
02 2019 档案
摘要:https://blog.csdn.net/rotkang/article/details/78914866
阅读全文
摘要:https://www.cnblogs.com/avivaye/category/814820.html
阅读全文
摘要:1. 时间维度表结构 2. C#生成预置数据代码 3. 结果预览
阅读全文
摘要:gradle 跳过测试直接编译gradle build -x test 根据build.gradle和setting.gradle文件生成idea项目: gradle idea gradle这几年发展迅猛,github越来越多的项目都开始采用gradle来构建了,但是并不是所有人都对gradle很熟
阅读全文
摘要:1. 在Windows中安装sbt 下载 官网: http://www.scala-sbt.org/ github: https://github.com/sbt/sbt/releases/download/v0.13.15/sbt-0.13.15.msi (官网的地址好像下到一半就失败.) 安装
阅读全文
摘要:withSpout在spark中是用来做DAG可视化的,它在代码里的用法如下(以map为例,spark 2.0.0版本) 因为对scala语法比较生疏,初次见面,一脸懵逼,这里的withScope是个什么用法?乍看一下有种java的implements Comparable的感觉。 其实,withS
阅读全文
摘要:1. local模式 2. Spark standalone模式 先上传文件到hdfs spark操作 最后保存的结果为: 3. yarn模式 还有一种mesos部署模式,因为环境没有做部署,没有做测试。 spark-shell参数列表:
阅读全文
摘要:默认情况下,hadoop官方发布的二进制包是不包含native库的,native库是用C++实现的,用于进行一些CPU密集型计算,如压缩。比如apache kylin在进行预计算时为了减少预计算的数据占用的磁盘空间,可以配置使用压缩格式。 默认情况下,启动spark-shell,会有无法加载nati
阅读全文
摘要:负载均衡集群是 load balance 集群的简写,翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy,商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。 一、负载均衡LVS基本介绍 LB集群的架构和原理很简单,就
阅读全文
摘要:一、写在前面 HA即(high available)高可用,又被叫做双机热备,用于关键性业务。简单理解就是,有2台机器 A 和 B,正常是 A 提供服务,B 待命闲置,当 A 宕机或服务宕掉,会切换至B机器继续提供服务。常见的实现高可用的开源软件有 heartbeat 和 keepalived。 这
阅读全文
摘要:一 原理简介 1.HAProxyHAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上,完全可以支持数以万计的
阅读全文
摘要:https://www.cnblogs.com/edisonchou/category/542546.html
阅读全文
摘要:本地仓库配置 配置环境变量GRADLE_USER_HOME,并指向你的一个本地目录,用来保存Gradle下载的依赖包。 远程仓库配置 一般Gradle、maven从中央仓库mavenCentral() http://repo1.maven.org/maven2/下载依赖包,但是在国内下载速度巨慢,我
阅读全文
摘要:1.下载sbt1.2.8 官网:https://sbt-downloads.cdnedge.bluemix.net/releases/v1.2.8/sbt-1.2.8.tgz2.配置环境 #SBT_HOME设置为sbt解压目录,例如: #在path中添加: 3.sbt配置 在sbt\conf\sbt
阅读全文
摘要:1. 环境准备 JDK1.8 Scala2.11.8 Maven 3.3+ IDEA with scala plugin 2. 下载spark源码 下载地址 https://archive.apache.org/dist/spark/spark-2.0.0/spark-2.0.0.tgz 将下载好的
阅读全文
摘要:本文主要讲述的是如何搭建Kafka的源码环境,主要针对的Linux操作系统下IntelliJ IDEA编译器,其余操作系统或者IDE可以类推。 1.安装和配置JDK确认JDK版本至少为1.7,最好是1.8及以上。使用java -version命令来查看当前JDK的版本,示例如下: 2.下载并安装配置
阅读全文
摘要:1 centos 7以下版本 2. centos 7.x版本 3. 重启电脑 如果需要切换图形界面执行命令:startx
阅读全文
摘要:本文以ZooKeeper3.4.3版本的官方指南为基础:http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html,补充一些作者运维实践中的要点,围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门,关于这方
阅读全文
摘要:1. 环境准备: JDK1.8 hive 2.3.4 hadoop 2.7.3 hbase 1.3.3 scala 2.11.12 mysql5.7 2. 下载spark2.0.0 3. 配置系统环境变量 末尾添加 4. 配置spark-env.sh 末尾添加: 5. 配置spark-default
阅读全文
摘要:原文地址:http://www.cnblogs.com/breg/p/5552342.html 装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔,免得以后自己忘记了。同事也给我一样苦逼的人参考。 先说明一下,这里说的Hive on Spark是Hive跑在Spark上,用的是
阅读全文
摘要:Hive默认使用MapReduce作为执行引擎,即Hive on mr,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比MapReduce快很
阅读全文
摘要:查看hive source下面的pom.xml,可以找到官方默认发布的hive版本对应的spark版本,在实际部署的时候,最好按照这个版本关系来,这样出现兼容问题的概率相对较小。 下面面列出一部分对应关系,在实际部署中可以到github上去查询具体的版本对应关系,地址为https://github.
阅读全文
摘要:1. 安装ntp时间同步工具 一般来讲,经过这几部之后,应该就OK了。关于时间服务的网址,可以到http://www.ntp.org.cn/pool.php查阅. 有些时候,在执行ntpdate cn.pool.ntp.org的时候会出现下面的错误: 可以使用ntpdate -d {ip or ur
阅读全文