摘要: 简介JTS是加拿大的 Vivid Solutions公司做的一套开放源码的 Java API。它提供了一套空间数据操作的核心算法。为在兼容OGC标准的空间对象模型中进行基础的几何操作提供2D空间谓词API。操作表示Geometry对象Geometry类型介绍见另一篇文章:WKT WKB和GeoJSO... 阅读全文
posted @ 2016-01-20 17:01 段星星 阅读(16605) 评论(0) 推荐(1) 编辑
摘要: 问题 尝试写一个UDF,参数支持输入x,y与一个Polygon,返回结果是(x,y)是否在输入的Geometry之内?环境eclipseodps 插件jts包:jts-1.8.jar解法import org.slf4j.Logger;import org.slf4j.LoggerFactory;i... 阅读全文
posted @ 2016-01-20 16:29 段星星 阅读(1917) 评论(0) 推荐(0) 编辑
摘要: 简介WKT(Well-known text)是开放地理空间联盟OGC(Open GIS Consortium )制定的一种文本标记语言,用于表示矢量几何对象、空间参照系统及空间参照系统之间的转换。WKB(well-knownbinary) 是WKT的二进制表示形式,解决了WKT表达方式冗余的问题,便... 阅读全文
posted @ 2016-01-20 10:34 段星星 阅读(7211) 评论(0) 推荐(5) 编辑
摘要: 偶然的机会,去面试的时候听面试官讲他们的调度系统是基于hue+oozie,以前一直没有接触过,今天趁有空,尝试一下oozie1.环境说明cat /etc/issue CentOS release 6.2 (Final)hadoop-2.2.0oozie-4.3.0jdk1.7.0_45apache-... 阅读全文
posted @ 2015-12-03 11:50 段星星 阅读(2460) 评论(0) 推荐(0) 编辑
摘要: 前言: 最近一直在做数据同步相关的工作,由于我们使用的是postgres数据库,在开源同步工具的选型上有很多有意思的事情,首先我介绍一下市面上的两款比较成熟的工具datax和sqoopsqoop:Sqoop是Apache下的顶级项目,用来将Hadoop和关系型数据库中的数据相互转移,可以将一个关... 阅读全文
posted @ 2015-11-24 17:31 段星星 阅读(269) 评论(0) 推荐(0) 编辑
摘要: 有一张很大的表:TRLOG该表大概有2T左右TRLOG:CREATETABLETRLOG(PLATFORMstring,USER_IDint,CLICK_TIMEstring,CLICK_URLstring)rowformatdelimitedfieldsterminatedby'\t';数据:PL... 阅读全文
posted @ 2015-11-04 17:45 段星星 阅读(637) 评论(0) 推荐(0) 编辑
摘要: 1. 假设我们在hive中有两张表,其中一张表是存用户基本信息,另一张表是存用户的地址信息等,表数据假设如下:user_basic_info:idname1a2b3c4duser_address;nameaddressaadd1aadd2badd3cadd4dadd5我们可以看到同一个用户不止一个地... 阅读全文
posted @ 2015-11-04 17:42 段星星 阅读(3522) 评论(0) 推荐(0) 编辑
摘要: 1.冒泡排序算法,增加flag标记/** * Created by xingxing.duan on 2015/11/4. */public class BubbleSort { private static void bubbleSort(int[] matrix) { boo... 阅读全文
posted @ 2015-11-04 11:09 段星星 阅读(155) 评论(0) 推荐(0) 编辑
摘要: /** * Created by icecookstar on 2015/11/3. */public class BinarySearch { private static int binarySearch(int[] matrix, int i, int j, int find) { ... 阅读全文
posted @ 2015-11-03 22:34 段星星 阅读(168) 评论(0) 推荐(0) 编辑
摘要: /** * Created by icecookstar on 2015/11/3. * 归并排序 */public class MergeSort { private static void merge(int[] matrix, int first, int middle, int las... 阅读全文
posted @ 2015-11-03 22:33 段星星 阅读(168) 评论(0) 推荐(0) 编辑