基于百度地图SDK和Elasticsearch GEO查询的地理围栏分析系统（1）-数据准备
本文描述了一个系统，功能是评价和抽象地理围栏(Geo-fencing)，以及监控和分析核心地理围栏中业务的表现。
技术栈：Spring-JQuery-百度地图WEB SDK
存储：Hive-Elasticsearch-MySQL-Redis
什么是地理围栏？
LBS系统中，地理围栏指的是虚拟边界围成的部分。
tips：这只是一个demo，支撑实习生的本科毕设，不代表生产环境，而且数据已经做了脱密处理，为了安全还是隐去了所有数据。
功能描述
1、地理围栏的圈选
(1)热力图
热力图展示的是，北京市最近一天的业务密度（这里是T+1数据，在实际工作场景中往往是通过实时流采集分析实时的数据）
(2)圈选地理围栏
系统提供了圆形(距中心点距离)、矩形、多边形三种类型的图形圈选，并通过百度地图SDK采集图形的信息。
2、地理围栏的持久化
(1)提供地理围栏的持久化功能
(2)地理围栏列表
下面是持久化的地理围栏列表，可以看到类型和围栏信息。
当圈选完成，可以选择持久化地理围栏，这个围栏将会沉淀下来，供后续业务分析和监控。
3、聚合分析
(1)提供日订单量，日盈利和日取消率的聚合分析
例如下图是在某个地理围栏区域内，11月这30天内，订单量的变化。
(2)详细列表
提供每一天数据的详细信息，对异常点可以标红和预警
上面基本就是系统的全部核心功能。下面进入实现部分。
实现 - 数据准备
1、数据源
数据源应该是业务的数据库(例如订单库)以及客户端埋点日志(端动作)，公司的离线采集和ETL团队经过了漫长的工作，将数据处理好存入了Hive中。
对于本文系统来说，数据源就是Hive中的order表。要做的是将Hive中的数据导入到Elasticsearch中，使用Elasticsearch强大的GEO Query支持进行分析。
2、数据导入
数据的导入使用的是一段Java的Spark脚本。
（1）先解决依赖
spark-core是必备依赖。引入spark-hive来处理Hive中的数据。引入elasticsearch-hadoop来搞定Hive到ES的写入。
<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.6.0</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.10</artifactId> <version>1.6.0</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-hadoop</artifactId> <version>2.3.4</version> </dependency>
（2）编写spark脚本
先上代码
public class ToES implements Serializable { transient private JavaSparkContext javaSparkContext; transient private HiveContext hiveContext; private String num; /* * 初始化Load * 创建sparkContext, hiveContext * */ public ToES(String num) { this.num = num; initSparckContext(); initHiveContext(); } /* * 创建sparkContext * */ private void initSparckContext() { SparkConf sparkConf; String warehouseLocation = System.getProperty("user.dir"); sparkConf = new SparkConf() .setAppName("to-es") .set("spark.sql.warehouse.dir", warehouseLocation) .setMaster("yarn-client") .set("es.nodes", "10.93.21.21,10.93.18.34,10.93.18.35,100.90.62.33,100.90.61.14") .set("es.port", "8049").set("pushdown", "true").set("es.index.auto.create", "true"); javaSparkContext = new JavaSparkContext(sparkConf); } /* * 创建hiveContext * 用于读取Hive中的数据 * */ private void initHiveContext() { hiveContext = new HiveContext(javaSparkContext); } /* * 使用spark-sql从hive中读取数据, 然后写入es. * */ public void hive2es() { String query = String.format("select * from kangaroo.order where concat_ws('-', year, month, day) = '%s' and product_id in (3,4) and area = 1", transTimeToFormat(System.currentTimeMillis() - Integer.parseInt(num)*24*60*60*1000L, "yyyy-MM-dd")); DataFrame rows = hiveContext.sql(query) .select("order_id", "starting_lng", "starting_lat", "order_status", "tip", "bouns", "pre_total_fee", "dynamic_price", "product_id", "starting_name", "dest_name", "type"); JavaRDD<Map<String, Object>> rdd = rows.toJavaRDD().map(new Function<Row, Map<String, Object>>() { /* * 转换成Map, 解决字段类型不匹配问题 * */ @Override public Map<String, Object> call(Row row) throws Exception { Map<String, Object> map = new HashMap<String, Object>(); Map<String, Object> location = new HashMap<String, Object>(); for (int i=0; i<row.size(); i++) { String key = row.schema().fields()[i].name(); Object value = row.get(i); map.put(key, value); } location.put("lat", Double.parseDouble(map.get("starting_lat").toString())); location.put("lon", Double.parseDouble(map.get("starting_lng").toString())); map.remove("starting_lat"); map.remove("starting_lng"); map.put("location", location); map.put("date", transTimeToFormat(System.currentTimeMillis() - Integer.parseInt(num)*24*60*60*1000L, "yyyy-MM-dd")); return map; } }); Map<String, String> map = new HashMap<String, String>(); map.put("es.mapping.id", "order_id"); JavaEsSpark.saveToEs(rdd, "moon/bj", map); } public String transTimeToFormat(long currentTime, String formatStr) { String formatTime = null; try { SimpleDateFormat format = new SimpleDateFormat(formatStr); formatTime = format.format(currentTime); } catch (Exception e) { } return formatTime; } public static void main(String[] args) { String num = args[0]; ToES toES = new ToES(num); toES.hive2es(); } }
SparkContext和HiveContext的初始化，请自行参考代码。
ES的集群配置是在sparkConf中加载进去的，加载方式请自己参照代码。
1）数据过滤
hive-sql
select * from kangaroo.order where concat_ws('-', year, month, day) = '%s' and product_id in (3,4) and area = 1
说明：
a)Hive的order表实现为一个外部表，year/month/day是分区字段，也就是说数据是按照天为粒度挂载的。
b)product_id是业务编号，这里过滤出了目标业务的订单。
c)area为城市编号，这里只过滤出北京。
2）列的裁剪
Elasticsearch有个弊端是由于索引的建立，当数据导入Elasticsearch数据量会膨胀，所以一定要进行维度的裁剪。
我们的订单Hive表姑且就叫它order吧，这个表有40+个字段，我们导入到ES中，只选用了其中的12个字段。
在代码中是，通过DataFrame的select实现的裁剪
DataFrame rows = hiveContext.sql(query) .select("order_id", "starting_lng", "starting_lat", "order_status", "tip", "bouns", "pre_total_fee", "dynamic_price", "product_id", "starting_name", "dest_name", "type");
可能会有这样的好奇，这样做在hive-sql中把所有字段全拿到然后在裁剪？为什么不直接在sql语句中进行裁剪？简单解释一下，由于spark的惰性求值，应该是没有区别的。
3）map转换操作
下面将dataFrame转换成rdd，执行map操作，将每一条记录进行处理，处理的核心逻辑，是将starting_lng、starting_lat压成一个HashMap的location字段。
为什么要这样做呢？
因为在Elasticsearch中要这样存储点的经纬度，并且将location字段声明为geo_point类型，才能使用空间索引查询。
然后我们顺便生成了一个date字段，表示订单是哪一天的，方便后面的以天为粒度进行聚合查询。
4）批量存入ES
Map<String, String> map = new HashMap<String, String>(); map.put("es.mapping.id", "order_id"); JavaEsSpark.saveToEs(rdd, "moon/bj", map);
这样就将rdd中的数据批量存入到ES中了，存入的索引是index=moon，type=bj，这里映射了order_id为ES文档的document_id。我们下面马上就会说如何建立moon/bj的mapping
5）ES索引建立
再将数据导入到ES之前，要建立index和mapping。
创建index=moon
curl -XPOST "http://10.93.21.21:8049/moon?pretty"
创建type=bj的mapping
curl -XPOST "http://10.93.21.21:8049/moon/bj/_mapping?pretty" -d ' { "bj": { "properties": { "order_id": {"type": "long"}, "order_status": {"type": "long"}, "tip": {"type": "long"}, "bouns": {"type": "long"}, "pre_total_fee": {"type": "long"}, "dynamic_price": {"type": "long"}, "product_id": {"type": "long"}, "type": {"type": "long"}, "dest_name": {"index": "not_analyzed","type": "string"}, "starting_name": {"index": "not_analyzed","type": "string"}, "departure_time": {"index": "not_analyzed","type": "string"}, "location": {"type" : "geo_point"}, "date": {"index": "not_analyzed", "type" : "string"} } } }'
这里要注意的是，location字段的类型-geo_point。
6）打包编译spark程序
以yarn队列形式运行
spark-submit --queue=root.*** to-es-1.0-SNAPSHOT-jar-with-dependencies.jar
然后在ES的head中可以看到数据已经加载进去了
至此，数据已经准备好了。
今天先到这，后面的博客会描述如何搞定百度地图前端和Elasticsearch GEO查询。
