荣锋亮 - 博客园

nginx proxy webservie 问题&实践

摘要： webservice 具有特殊性，因为wsdl 文件是服务器端生成的（大部分，而且是动态的），所以我们直接使用nginx 进行proxy 会有问题实际上此问题比较常见，而且网上也有人碰到，可能因为时间比较长了，技术变动，不见得就能解决问题，以下是自己在实践中一些整理主要的问题对于soap 的地阅读全文

posted @ 2022-08-12 21:22 荣锋亮阅读(1055) 评论(0) 推荐(0)

dremio udf 以及行级以及列级访问控制资料

摘要：就在最近官方blog 发布了关于udf 以及行级以及列级访问控制的详细介绍，还是值得学习阅读的，我以前是简单介绍过通过阅读官方博客，发现了对于自定义函数的使用，同时纠正下以前关于只能权限控制使用的说明（实际上也可以直接使用的）参考使用创建 CREATE FUNCTION area (x DOU 阅读全文

posted @ 2022-08-11 00:35 荣锋亮阅读(49) 评论(0) 推荐(0)

KettlePack 最新版本docker 镜像的制作说明

摘要： KettlePack 最新版本没有docker镜像，以下是制作的简单说明原理比较low，核心是替换tomcat webapp 的应用，可以先删除，然后进行copy 就可以了参考Dockerfile 首先需要下载最新版本的war包，然后解压 FROM registry.cn-hangzhou.a 阅读全文

posted @ 2022-08-10 23:59 荣锋亮阅读(233) 评论(0) 推荐(0)

KettlePack 功能比较完备的kettle 管理工具

摘要： KettlePack 是国人开发，并可以免费使用的管理kettle 任务的工具，界面以及体验还是不错的运行基于docker-compose 目前官方最新的是0.7.4 但是没有发布，我自己构建了一个，大家可以试用 version: '3' services: mysql: image: mysq 阅读全文

posted @ 2022-08-10 22:59 荣锋亮阅读(1786) 评论(0) 推荐(0)

基于perfino+ jprofiler 分析dremio

摘要：以前大概写过关于使用jprofiler 分析dremio的，以下是结合perfinoperfino 与jprofiler 都是一家公司的产品，perfino 提供了完整的apm 能力，同时基于web，使用以及管理还是比较方便的而且支持自动依赖发现，可以实现系统资源的完整查看（实际上apm 平台都支持阅读全文

posted @ 2022-08-09 20:31 荣锋亮阅读(101) 评论(0) 推荐(0)

jprofiler Alpine 容器集成

摘要： jprofiler 支持是支持基于容器运行的，模版了附加模式以及agent 模式，从jprofiler12 开始官方就已经支持Alpine linux 了（使用了musl-x64）集成模式对于已经运行的可以通过gui ，通过ssh 通道，然后选择节点容器附加运行启动时的可以直接基于agen 阅读全文

posted @ 2022-08-08 23:08 荣锋亮阅读(43) 评论(0) 推荐(0)

.net 调用spring boot rest api 的100-Continue问题

摘要：业务场景比较简单，以前使用的是nginx 到spring boot rest api，现在临时调整为了.net client 直接到spring boot rest api出现了超时问题，然后通过抓包发现有莫名的100-Continue 请求，结果搜索了下居然也有人有类似的问题，之后通过wiresh 阅读全文

posted @ 2022-08-08 21:22 荣锋亮阅读(179) 评论(0) 推荐(0)

wireshark ssl 解密处理

摘要：很多时候我们先上是需要进行ssl 解密分析处理的，尤其是面向wireshark 抓包场景，以下是一个简单的试用配置SSLKEYLOGFILE 我的系统使用mac, 配置的环境变量应该是启动是一个终端 export SSLKEYLOGFILE=$HOME/myssl-keys/mykeys.log 阅读全文

posted @ 2022-08-07 22:38 荣锋亮阅读(1101) 评论(0) 推荐(0)

localstack 1.0 ga 了

摘要： localstack 是一个很不错的本地mock aws 服务的工具，可以方便的做为我们日常aws 本地测试的工具集，提升系统的稳定性最近1.0 ga 了，详细的可以参考以下链接，localstack 对于使用aws 的用户来说还是很值得学习使用的参考资料 https://localstack.c 阅读全文

posted @ 2022-08-07 09:48 荣锋亮阅读(36) 评论(0) 推荐(0)

dremio 默认parquet 文件存储的一些定义参数

摘要：实际上官方文档对于parquet 的定义已经有一些说明了，以下结合源码验证下参考配置参考配置参数sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java block size 默认是256m String PARQUET_BLOC 阅读全文

posted @ 2022-08-03 21:50 荣锋亮阅读(77) 评论(0) 推荐(0)

dremio 对于parquet 文件的一些要求以及优化处理

摘要： dremio 比较依赖parquet 存储格式，同时对于parquet 的处理进行了不少的优化读parquet 文件 3.1.3 提供了支持非堆内存的操作，3.2 增强了对于云parquet reader 的处理 parquet 的一些限制多结构嵌套的支持限制到16 数组最大元素个数限制为128 阅读全文

posted @ 2022-08-03 20:58 荣锋亮阅读(126) 评论(0) 推荐(0)

使用py4j 实现python与java 的互调用

摘要： py4j 是基于rpc 模式的python与Java 调用的处理模式，功能还是很强大的，而且pyspark 就是基于此的参考使用 java 项目主要提供server 能力 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns= 阅读全文

posted @ 2022-07-30 20:20 荣锋亮阅读(1156) 评论(0) 推荐(0)

dremio arrow flight sql odbc 源码开源了

摘要：就在最近看到dremio flight sql odbc 支持mac 以及linux 了，看了下github 发现odbc 源码也是开源了，很不错，很值得学习下dremio 对于arrow flight sql odbc 的开发以及集成处理，具体项目源码参考链接参考资料 https://githu 阅读全文

posted @ 2022-07-30 11:36 荣锋亮阅读(94) 评论(0) 推荐(0)

dremio arrow flight sql odbc 驱动支持mac 以及linux 了

摘要： dremio 的效率还是很高的，已经支持mac 以及linux了，以前只是支持windows，如果大家可以升级到dremop 22 版本，odbc 的问题就基本没啥问题了 mac 安装效果驱动的一些信息可以通过strings 命令看到，包含了grpc 的信息 strings libarrow- 阅读全文

posted @ 2022-07-30 11:06 荣锋亮阅读(83) 评论(0) 推荐(0)

haproxy dataplaneapi 2.6 发布

摘要： haproxy dataplaneapi 2.6 包含了一些新特性，还是很不错的新特性主要还是关于haproxy 2.6 版本新特性，指令的支持 ring 指令支持 global 配置，global 配置部分，可以全部支持了 default，frontend，backend 关键字能力的支持 h 阅读全文

posted @ 2022-07-29 23:15 荣锋亮阅读(109) 评论(0) 推荐(0)

cube.js cube store minio 集成

摘要： cube store 很早就已经支持minio s3 了，以下是一个测试，以及数据查看运行 docker-compose version: '3' services: minio: image: minio/minio ports: - "9002:9000" - "19001:19001" en 阅读全文

posted @ 2022-07-29 22:54 荣锋亮阅读(173) 评论(0) 推荐(0)

cube.js 即将使用cube store 替换redis

摘要：随着发着cube store 的能力已经很强大了，官方目前计划使用cube store 替换redis cube.js 内存查询参考官方对于redis 的说明官方觉得redis 的数据接口以及对于进行数据处理的复杂（核心是原子性事物处理），而且对于部署来说cube 需要保持简单（当前cube 的阅读全文

posted @ 2022-07-29 20:51 荣锋亮阅读(172) 评论(0) 推荐(0)

一次 jenkins 升级造成git clone 代码异常问题解决

摘要： jenkins 从2.360 升级到2.361 出现了如下问题（以前构建一直没有问题）问题日志参考如下 Verifying host key using known hosts file, will automatically accept unseen keys > /usr/bin/git 阅读全文

posted @ 2022-07-29 13:16 荣锋亮阅读(2630) 评论(1) 推荐(1)

graylog server 模块说明一入口简单说明

摘要：通过graylog 的入口我们可以了解到graylog 的运行机制入口代码 graylog2-server/src/main/java/org/graylog2/bootstrap/Main.java 简单说明入口出基于了spi 查找开发的模块参考代码 public static void m 阅读全文

posted @ 2022-07-24 22:56 荣锋亮阅读(323) 评论(0) 推荐(0)

pmm 最近的一些变动

摘要：好久没太关注pmm了，看了下发现包含了不少新特性架构变动从下图可以看出，pmm 也支持其他服务的监控了，比如server，其他服务（可以保留prometheus 或者openmetrics 兼容协议的）从官方介绍可以看到haproxy，node 。。。。都是可以支持了 pmm server 基阅读全文

posted @ 2022-07-24 21:44 荣锋亮阅读(136) 评论(0) 推荐(0)

coroot-pg-agent 专注性能的pg promtheus exporter

摘要：尽管已经有不少pg 的prometheus exporter 了，但是coroot-pg-agent 是关注与查询性能统计的还是很支持使用的pmm 也是支持pg 的，同时基于prometheus exporter 以及qan 进行处理说明 coroot-pg-agent 的思路还是值得学习借鉴的，阅读全文

posted @ 2022-07-24 21:21 荣锋亮阅读(89) 评论(0) 推荐(0)

jmte 模版引擎

摘要： jmte 是一个简单，但是高效的模版引擎，graylog 对于通知的处理就使用了此模版引擎，使用简单，而且比较灵活参考使用流程创建引擎，注册类型渲染（不是必须的），使用tranform 进行渲染处理参考代码 MyRenderDemo public class MyRenderDemo { s 阅读全文

posted @ 2022-07-24 16:05 荣锋亮阅读(233) 评论(0) 推荐(0)

tauri 新的桌面应用开发模式

摘要： tauri 是基于rust 以及webkit 开发桌面应用的框架特性高性能构建的软件包小安全跨平台 github action 集成核心能力（文件系统文档，原生通知）自更新 sidecar （可以集成其他二进制包）事件驱动的集成（frontend 与backend core）参考阅读全文

posted @ 2022-07-24 10:53 荣锋亮阅读(1340) 评论(0) 推荐(0)

odbc 驱动开发的一些资料

摘要： dremio 以前版本的odbc 当前是已经不支持直接下载了，早期版本的odbc 是基于了drill 的odbc 驱动，利用了SimbaEngine sdk以下是整理的一些资料可以参考如何开发odbc driver,magnitude 公司提供了一系列的文章可以参考，clickhouse 的odbc 阅读全文

posted @ 2022-07-23 13:25 荣锋亮阅读(135) 评论(0) 推荐(0)

spring boot jdbctemplate queryforstream 使用问题

摘要：开发一个功能为了避免内存问题，使用了 jdbctemplate queryforstream，同时日常中会使用链接池，运行一段时间会出现链接超时的问题参考示例代码 @RestController public class Api { @Autowired private JdbcTemplate 阅读全文

posted @ 2022-07-23 12:25 荣锋亮阅读(1183) 评论(0) 推荐(0)

dremio odbc 驱动包下载说明

摘要： dremio 就在5月底左右的时候，对于odbc 驱动停止了下载，目前在dremio 社区网站有不大好人员反馈了，总的来说是很不好对于数据处理领域基于python （会使用到odbc）是不少的，而且问题也不少，就看后边官方如何解决了，我整理了一些自己已经下载好的driver，同时放到github 上阅读全文

posted @ 2022-07-22 23:58 荣锋亮阅读(129) 评论(0) 推荐(0)

graylog 源码结构&构建简单说明

摘要： graylog 的源码属于一个单体系统，构建比较符合maven 构建系统，包含了web 以及server backend 模块，一些一些其他依赖模块 web 构建使用了frontend-maven 插件，同时为了生产deb 以及rpm 也使用了相关的maven 插件，对于整体的打包使用了maven- 阅读全文

posted @ 2022-07-20 21:53 荣锋亮阅读(452) 评论(0) 推荐(0)

jprofiler 提供的几个方便工具

摘要： jprofiler 不只是可以在启动时添加agent信息，运行时态也是可以了，官方提供了不少工具几个有用的工具 jpenable 可以jprofiler 的进程附加，可以方便jprofiler gui 工具链接 jpdump heap 快照工具，可以保存heap 快照信息 jpcontroller 阅读全文

posted @ 2022-07-19 21:24 荣锋亮阅读(137) 评论(0) 推荐(0)

通过graylog output 模式进行graylog的联邦以及升级处理

摘要：很多时候我们需要将graylog 系统的日志转发到另外一个系统，比如旧版本的到新版本，或者老版本缺少能力，需要使用新版本的能力基于graylog 的output 就可以解决参考方案参考操作注意output 需要使用gelf 协议新版本创建input 老版本配置output 全局级别 str 阅读全文

posted @ 2022-07-19 20:50 荣锋亮阅读(157) 评论(0) 推荐(0)

记一次graylog 日志不能写入的问题解决

摘要：现象新搭建的graylog，同时已经做了一些简单的性能优化，早期直接基于内置的随机http 消息生成压测，稳定性以及写入还是很不错的，而且都是新机器没啥压力但是经过一段时间之后发现如果有大量的日志写入的时候吞吐上不去，而且过一段时间日志数据会彻底写入不成功了，graylog 集群cpu 使用率比阅读全文

posted @ 2022-07-19 11:43 荣锋亮阅读(879) 评论(0) 推荐(0)

cube.js 0.30.30 之后自定义driver 开发的一些问题说明

摘要： driverFactory 的变动 driver 解析 public async resolveDriver( context: DriverContext, options?: OrchestratorInitedOptions, ): Promise<BaseDriver> { if (!thi 阅读全文

posted @ 2022-07-17 23:29 荣锋亮阅读(106) 评论(0) 推荐(0)

dremio InfoSchemaScanCreator 参考调用链

摘要：整理一些关于InfoSchemaScanCreator 请求调用链的，方便记录学习参考调用链信息 stack com.dremio.exec.store.ischema.InfoSchemaScanCreator create ts=2022-07-17 14:50:01;thread_name= 阅读全文

posted @ 2022-07-17 23:04 荣锋亮阅读(35) 评论(0) 推荐(0)

dremio 的InformationSchemaCatalog 服务二

摘要：今天简单说明了下关于InformationSchemaCatalog 服务的介绍，当时介绍的InformationSchemaCatalog 更多属于基础能力（实际上这个类核心还是dremio 内部使用的）对于在bi 工具以及系统使用的，dremio 是通过了独立的存储扩展（dremio 存储扩展阅读全文

posted @ 2022-07-17 19:54 荣锋亮阅读(39) 评论(0) 推荐(0)

dremio 的InformationSchemaCatalog 服务一

摘要： InformationSchemaCatalog 服务实现了模仿information_schema的能力，让我们可以更好的在bi 工具以及其他系统使用接口定义 /** * Facet of the catalog service that provides metadata with an in 阅读全文

posted @ 2022-07-17 12:06 荣锋亮阅读(37) 评论(0) 推荐(0)

dremio 当前支持的权限

摘要：了解dremio 当前支持的权限，可以让给你我们更好的处理以及学习dremio的安全控制机制数据集权限 alter 对于system，space，source，folder，pds，vds 的操作，包含了add,delete,modify,同时包含了元数据的处理 alter_reflection 阅读全文

posted @ 2022-07-16 23:18 荣锋亮阅读(65) 评论(0) 推荐(0)

dremio 权限体系

摘要：尽管dremio 的社区版没有提供rbac 以及权限管理的模块能力，但是我们通过官方文档还是可以学到不少东西的，同时也有助于我们可以自己的认证授权模块对象层级 dremio 是基于了继承模型进行权限的处理，比如我们授权的对象，包含了子对象，那个用户也是可以操作子对象的（dremio 称之为scop 阅读全文

posted @ 2022-07-16 23:04 荣锋亮阅读(125) 评论(0) 推荐(0)

dremio udf 参考调用处理

摘要：以下是基于arthas 生成的调用，可以参考学习使用参考调用 [arthas@1]$ stack com.dremio.exec.planner.sql.handlers.direct.CreateFunctionHandler toResult Press Q or Ctrl+C to abor 阅读全文

posted @ 2022-07-16 12:26 荣锋亮阅读(55) 评论(0) 推荐(0)

dremio 22 udf 功能

摘要： dremio 22 开始支持了直接基于sql 的udf，很方便，强大，但是目前对于社区版来说智能创建，暂时还不能直接使用目前udf 面向的创建是基于行以及列级别的访问控制创建udf函数 CREATE FUNCTION multiply (x INT, y INT) RETURNS INT RET 阅读全文

posted @ 2022-07-16 12:18 荣锋亮阅读(70) 评论(0) 推荐(0)

dremio 的一些系统表

摘要： dremio 的一些系统表是比较有用的，比如进行系统反射以及node 信息的查看，同时也便于系统的监控（同时我们也可以基于prometheus 处理）查询命令 SELECT * FROM INFORMATION_SCHEMA."TABLES" 包含的信息(红框部分比较重要，值得学习参考) 对于反射阅读全文

posted @ 2022-07-16 01:14 荣锋亮阅读(68) 评论(0) 推荐(0)

dremio 22 odbc 新特性

摘要：从dremio 22 开始odbc 支持了arrow flight sql 了，可以很大的提高sql 的性能，但是目前源码没有开源目前支持的操作系统包含了centos 以及windows 10 以及新的（64位系统）说明 arrow 的flight sql 可以很大的提升数据查询处理能力，很值得阅读全文

posted @ 2022-07-16 00:25 荣锋亮阅读(51) 评论(0) 推荐(0)

导航

公告