bigbigtree

摘要： 背景介绍： 当ES中guava库与hive等组件的库冲突时，对Elasticsearch库进行shade，relocate解决库冲突问题。 当使用"org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"对资源进行重定向 阅读全文

摘要： 情况描述 解决方法 方法一：Shade and relocate 简介 Shade Elasticsearch 引入shade ES jar 方法二：修改集群Job配置策略（未实验） 情况描述 使用JDBC从Hive中抽取数据，所以maven项目中有hive依赖库； 数据导入Elasticsearc 阅读全文

摘要： 错误信息：java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecut‌​or()Ljava/util/concu‌​rrent/Executor 现象：创建ES客户端连接失败 解决 阅读全文

摘要： 数据函数简介添加汇总额外信息 数据 函数简介 CUBE（a, b, c）：和grouping sets((a,b,c),(a,b),(a,c),(a),(b,c),(b),(c),())是等效的 如下所示： 其中： black共计67, blue共计100 red共计64 所有共计231 添加汇总额 阅读全文

摘要： 处理gis数据，投影变换时出现异常： the operation was attempted on an empty geometry 解决思路： arcgis的repair geometry方法：删除null geometry； shapefile的投影设置有误，例如原始投影设置错误； 阅读全文

摘要： 依赖TomcatGeoserverGeoWebCache环境部署JDKTomcat服务器Geoserver配置GeoWebCache配置环境启动使用使用geowebcache进行切片 依赖 Tomcat 不要下载8.0.24版本，发布带ImageIO的服务存在bug： https://bz.apac 阅读全文

摘要： 依赖GeoserverElasticSearchElasticGeo部署部署ElasticGeo使用创建ES数据源并发布发布 依赖 Geoserver 环境搭建参考： ElasticSearch 环境搭建参考： ElasticGeo 用于在Geoserver中发布Elasticsearch的数据，支 阅读全文

摘要： 库冲突导致的异常，由于多次引入SLF4j包导致。 It seems you have several implementation of SLF4J; you should exclude all the not necessary ones maven项目的解决方法： 通过mvn dependen 阅读全文

摘要： Spark版本：1.6.2 概览 Spark SQL用于处理结构化数据，与Spark RDD API不同，它提供更多关于数据结构信息和计算任务运行信息的接口，Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQ 阅读全文

摘要： Spark可以通过三种方式配置系统: 通过SparkConf对象, 或者Java系统属性配置Spark的应用参数 通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量 通过log4j.properties配置日志属性 Spark属性 Spark属性可以为每个应用分别进行配置， 阅读全文