Spark第一个应用程序
首先要对源码进行编译，生成对应hadoop版本的spark开发程序jar包，上篇已经写了具体的过程，这里不再赘述。
在安装spark的机器上，下载eclipse-java-x86_64版本，将spark-assembly.jar和spark/lib下全部加进路径，建立普通java project
WordCount代码
package sparktest.util.test;
import java.util.Arrays;
import java.util.regex.Pattern;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;
public final class JavaWordCount {
private static final Pattern SPACE = Pattern.compile(" ");
public static void main(String[] args) throws Exception {
if (args.length < 2) {
System.err.println("Usage: JavaWordCount <master> <file>");
System.exit(1);
}
JavaSparkContext ctx = new JavaSparkContext(args[0], "JavaWordCount",
System.getenv("SPARK_HOME"), JavaSparkContext.jarOfClass(JavaWordCount.class));
ctx.addJar("/opt/eclipse/JavaSparkT.jar");
JavaRDD<String> lines = ctx.textFile(args[1], 1);
JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
@Override
public Iterable<String> call(String s) {
return Arrays.asList(SPACE.split(s));
}
});
JavaPairRDD<String, Integer> ones = words.mapToPair(new PairFunction<String, String, Integer>() {
@Override
public Tuple2<String, Integer> call(String s) {
return new Tuple2<String, Integer>(s, 1);
}
});
JavaPairRDD<String, Integer> counts = ones.reduceByKey(new Function2<Integer, Integer, Integer>() {
@Override
public Integer call(Integer i1, Integer i2) {
return i1 + i2;
}
});
counts.saveAsTextFile(args[2]);
// counts.s
/*List<Tuple2<String, Integer>> output = counts.collect();
for (Tuple2<?,?> tuple : output) {
System.out.println(tuple._1() + ": " + tuple._2());
}*/
System.exit(0);
}
}
输入的三个参数：
spark://master:7077 /usr/local/hadoop/hadoop-2.4.0/test.txt /usr/local/hadoop/hadoop-2.4.0/result.txt
分别spark入口 本地输入文件 本地输出文件
输出：
[root@localhost result.txt]# cat part-00000 (xing,2) (xiao,1) (ya,2) (shi,1) (,2) (wo,1) (yi,4) (zhi,1)
注意： ctx.addJar("/opt/eclipse/JavaSparkT.jar"); 这一句很关键，要不然会报错
问题：
14/07/07 10:26:11 WARN TaskSetManager: Lost TID 0 (task 1.0:0)
14/07/07 10:26:11 WARN TaskSetManager: Loss was due to java.lang.ClassNotFoundException
java.lang.ClassNotFoundException: JavaWordCount$1
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
解决办法：
spark在运行的时候需要将类分发到各个节点上去，然后在各个节点调用这个类去完成任务，在java程序里边需要将这个类本身提交到各个节点上去
可以通过java普通的方法调用的方式实现或者 在eclipse里边通过右键run as java application的方式运行。不过需要在程序中用addJar（）方法或者在初始化SparkContext的时候将本身的WordCount 的Jar包增加进去。
Spark类型：
Supported types for Avro -> SparkSQL conversion
avro types to SparkSQL types:
boolean -> BooleanType
int -> IntegerType
long -> LongType
float -> FloatType
double -> DoubleType
bytes -> BinaryType
string -> StringType
record -> StructType
enum -> StringType
array -> ArrayType
map -> MapType
fixed -> BinaryType
Spark Load/Save 方式1.3.0统一了load/save API，让用户按需自由选择外部数据源。这套API包括：
1.SQLContext.table
从SQL表中加载DataFrame。
2.SQLContext.load
从指定的外部数据源加载DataFrame。
3.SQLContext.createExternalTable
将指定位置的数据保存为外部SQL表，元信息存入Hive metastore，并返回包含相应数据的DataFrame。
4.DataFrame.save
将DataFrame写入指定的外部数据源。
5.DataFrame.saveAsTable
将DataFrame保存为SQL表，元信息存入Hive metastore，同时将数据写入指定位置。
Spark与Hive的兼容特性
-
与hive兼容
sparkSQL可以与hive metastore，serdes和UDF兼容。sparkSQL thrift jdbc服务能够与当前已经安装的hive进行兼容，不需要修改已存在的hive metastore或者改变数据存放目录。
支持的hive特性
sparkSQL支持很多hive特性，如：
- hive 查询语句：select，group by，order by，cluster by，sort by
- 所有hive操作：关系型操作（=, ⇔, ==, <>, <, >, >=, <=等），算术操作（+, -, *, /, %等），裸机操作（AND, &&, OR, ||等），复杂类型构造，数学函数（sign, ln, cos等），字符串函数（instr, length, printf等）
- 用户定义函数（UDF）
- 用户定义聚合函数（UDAF）
- 用户定义序列化格式（serdes）
- join：join，{left|right|full} outer join，left semi join，cross join
- 联合查询
- 子查询：select col from(select a+b as col from t1)t2
- 取样操作
- 解释操作
- 表分割
- 所有的hive DDL函数：create table，create table as select，alter table
- 大部分的hive数据类型：TINYINT，SMALLINT，INT，BIGINT，BOOLEAN，FLOAT，DOUBLE，STRING，BINARY，TIMESTAMP，ARRAY<>，MAP<>，STRUCT<>
不支持的hive功能
主要的hive特性
- sparkSQL目前不支持使用动态分片向表插入数据
- sparkSQL不支持带有桶的表，桶是hive表分片的hash分片方式
深奥的hive特性
- hive中带有分片的表使用不同的输入格式，在sparkSQL中，所有的表分片使用相同的输入格式
- hive支持在join操作使用non-equi的条件（如key<10），在sparkSQL中如果使用这种方式会输出错误的结果
- UNION和DATE类型
- 唯一join
- 单查询多插入
- sparkSQL不支持piggyback浏览来收集列统计，只支持操作hive metastore中的sizeInBytes字段
hive输入输出格式
- sparkSQL只支持TextOutputFormat
- hadoop归档文件
hive优化
很多的hive优化目前都不能用户sparkSQL，其中一些（如索引）对于sparkSQL不是很重要的，因为sparkSQL是内存计算模型，其他的一些会在未来的sparkSQL版本中得到支持：
- 块级别的bitmap索引和虚拟字段（用来建立索引）
- 自动将join转换为map join：在大表与很多小表进行join时，hive会自动将join转换为map join，下个版本的sparkSQL会得到支持
- 自动决定join和groupby时reducer的数量，目前，sparkSQL需要使用SET spark.sql.shuffle.partitions=[num_tasks];来控制并行度
- 只查询元数据：hive在查询时可以只查询元数据，sparkSQL需要部署任务来计算结果
- sparkSQL不支持hive中的skew data flag
- sparkSQL不支持hive的STREAMTABLE
- 合并多个小文件作为查询结果：如果查询结果包括很多的小文件，hive可以合并这些小文件为大文件避免HDFS元数据容量溢出。sparkSQL暂时不支持该特性
