李雷 - 博客园

[置顶] 使用java生成mapbox-gl可读的vector tile

摘要：概述 mapbox-gl主要数据源来自mapbox vector tile，本文就是要阐述怎样把postgresql中的地理空间数据转换成vector tile，流程图如下：配置该工程采用spring boot+maven，所以第一步少不了pom.xml配置：添加墨卡托投影转换工具类：核心内阅读全文

posted @ 2017-11-14 09:42 李雷阅读(7257) 评论(3) 推荐(0) 编辑

[置顶] eclipse构建maven+scala+spark工程

摘要：前提条件下载安装Scala IDE build of Eclipse SDK 构建工程 1、新建maven工程 2、配置项目信息 3、新建scala对应的Source Folder 4、添加scala对应Archetype 5、配置pom.xml添加依赖包到此项目部署配置完成。运行scala程阅读全文

posted @ 2017-11-09 10:38 李雷阅读(321) 评论(0) 推荐(0) 编辑

[置顶] spring boot跨域设置

摘要：定义跨域是指从一个域名的网页去请求另一个域名的资源跨域背景限制原因如果一个网页可以随意地访问另外一个网站的资源，那么就有可能在客户完全不知情的情况下出现安全问题为什么要跨域公司内部有多个不同的子域，比如一个是location.company.com ,而应用是放在app.company. 阅读全文

posted @ 2017-11-06 10:51 李雷阅读(1651) 评论(0) 推荐(0) 编辑

impala通过jdbc写入效率低下优化

摘要：背景： Kudu+Impala很适合数据分析, 但直接使用Insert values语句往Kudu表插入数据, 效率实在不好, 测试下来insert的速度仅为80笔/秒. 原因也是显然的, Kudu本身写入效率很高, 但是Impala并没有做这方面优化, 观察下来每次Impala语句执行的overh 阅读全文

posted @ 2021-12-10 11:29 李雷阅读(662) 评论(0) 推荐(0) 编辑

impala表关联join优化1

摘要：基础环境： [cdh02.dongfeng.com:21000] default> show create table kudu_via_city_pdi10; Query: show create table kudu_via_city_pdi10 + + | result | + + | CRE 阅读全文

posted @ 2021-12-07 19:23 李雷阅读(967) 评论(0) 推荐(0) 编辑

MySQL特定表全量、增量同步到消息队列-解决方案

摘要： 1、原始需求既要同步原始全量数据，也要实时同步MySQL特定库的特定表增量数据，同时对应的修改、删除也要对应。数据同步不能有侵入性：不能更改业务程序，并且不能对业务侧有太大性能压力。应用场景：数据ETL同步、降低业务服务器压力。 2、解决方案 3、canal介绍、安装 canal是阿里巴巴旗下阅读全文

posted @ 2021-11-26 15:49 李雷阅读(483) 评论(0) 推荐(0) 编辑

protobuf和json字符串大小对比

摘要： json字符串拼装程序 package org.proto; import com.alibaba.fastjson.JSON; import java.util.ArrayList; import java.util.List; import java.util.Random; public cl 阅读全文

posted @ 2021-11-14 12:23 李雷阅读(759) 评论(0) 推荐(0) 编辑

windows个人笔记本压测hbase随机访问高并发压测

摘要：场景：根据车辆ID前缀匹配，获取全部数据，压测客户端在个人笔记本上，hbase部署在服务器上，有三个节点：16个cpu\64G内存程序 package org.hbase; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop. 阅读全文

posted @ 2021-11-09 18:40 李雷阅读(202) 评论(0) 推荐(0) 编辑

kudu+impala 27亿条数据的高并发海量分析压测

摘要： SQL：select a.tid,count(*),sum(std_mileage) from kudu_via_city_pdi3 as a where entry_time between "+entry_time_start+" and "+entry_time_end+" group by 阅读全文

posted @ 2021-11-09 15:57 李雷阅读(730) 评论(0) 推荐(0) 编辑

TDEngine和MySQL单表100万数据查询性能比较

摘要： TDEngine表结构 SQL语句程序 package com.test.df.tdengine.intd.jianshaozibiao; import java.sql.Connection; import java.sql.ResultSet; import java.sql.SQLExcep 阅读全文

posted @ 2021-11-08 19:10 李雷阅读(1118) 评论(0) 推荐(0) 编辑

针对一百万以内数据高频变化、聚合统计、实时性要求的解决方案

摘要：背景需求：解决方法程序： package org.mem; import java.util.*; public class Test1 { public static void main(String[] args) { final Map<String,Moci> map = new Hash 阅读全文

posted @ 2021-11-08 18:35 李雷阅读(192) 评论(0) 推荐(0) 编辑

doris-10亿条数据量，每天100万条，按照时间-天分组统计

摘要： select inday,sum(p1),count(*) from tj23 as a where inday between '"+sstart+"' and '"+send+"' group by inday limit 150个并发：Thread[Thread-40,5,main] >Mon 阅读全文

posted @ 2021-11-08 15:03 李雷阅读(869) 评论(0) 推荐(0) 编辑

doris-未预热查询性能验证

摘要：停止三个节点be 启动三个节点的be 执行语句：第一次执行：第二次执行，差别不大：阅读全文

posted @ 2021-11-08 14:42 李雷阅读(143) 评论(0) 推荐(0) 编辑

李雷