荣锋亮 - 博客园

drill 学习九 drill性能优化-整体介绍

摘要：我们可以通过分析查询计划以及profiles 识别引起性能问题的原因，在识别了引起的原因之后我们可以尝试进行以下操作来解决: 修改查询计划选项修改广播 join选项在1/2 阶段聚合切换基于hash 的内存操作约束开启以及关闭开启查询队列控制并行度数据的组织以及分片的修剪修改存储格式阅读全文

posted @ 2020-10-06 09:16 荣锋亮阅读(330) 评论(0) 推荐(0) 编辑

drill 学习九 drill性能优化-Metastore

摘要：尽管drill 是schema on fly 的但是，提供scehma 以及统计信息可以加速drill 数据的处理，所以drill 1.17 添加了Metastore（基于iceberg tables）简单介绍模式感知执行的显着优势：在计划时间：更好的计划优化范围。由于类型已知，因此可以正阅读全文

posted @ 2020-10-05 23:19 荣锋亮阅读(342) 评论(0) 推荐(0) 编辑

apache iceberg 用于分析庞大数据集的开放格式

摘要： apche iceberg是一个开放标准，旨在解决庞大数据集的数据处理支持的特性可靠性 &&性能扫描计划速度快高级过滤支持acid 开放标准确保跨语言实现的兼容性参考资料 http://iceberg.apache.org/ 阅读全文

posted @ 2020-10-05 10:19 荣锋亮阅读(696) 评论(0) 推荐(0) 编辑

drill 学习八 drill information schema

摘要： drill 数据schema on fly 模式的，但是drill也提供了metadata tables 可以方便的查看数据源（或者schema） drill 提供的schema table schema catalogs tables columns views files partitions 阅读全文

posted @ 2020-10-05 09:47 荣锋亮阅读(277) 评论(0) 推荐(0) 编辑

drill 学习五配置说明- 多租户

摘要： drill 支持多用户共享同一个drillbit以及运行在独立drillbit节点的集群模式 drill可以与以下大数据工具运行在一起: mapreduce yarn hbase hive && pig spark 当我们与其他工具一起运行的时候需要关注：内存，cpu，以及磁盘的配置当用户共享dr 阅读全文

posted @ 2020-10-05 09:22 荣锋亮阅读(311) 评论(0) 推荐(0) 编辑

drill 学习七 drill jdbc 连接说明

摘要： drill 官方没有提供直接的jdbc支持，但是mapr 提供了一个下载jdbc 驱动可以直接在drill 的安装包提取，也可以在https://apache.osuosl.org/drill/ 地址下载 ## drill jdbc 连接格式 drill jdbc 驱动支持了多种模式的连接配置: 阅读全文

posted @ 2020-10-04 17:07 荣锋亮阅读(498) 评论(0) 推荐(0) 编辑

drill 学习六数据存储插件配置

摘要：具体可以参考以前整理的一个（比较简单，主要是关于常用数据库的） https://www.cnblogs.com/rongfengliang/p/6926009.html https://www.cnblogs.com/rongfengliang/p/6940485.html 说明官方文档对于存储插阅读全文

posted @ 2020-10-04 15:26 荣锋亮阅读(200) 评论(0) 推荐(0) 编辑

drill 学习五配置说明- 安全

摘要：安全是一个比较重要的，但是在实际的开发中，大家可能关注的不是很多，drill 安全配置包含：认证：基于Kerberos模式，用户密码模式，签名加密：基于Kerberos提供数据的保密以及一致性授权：当前主要基于hive 授权配置模拟用户模拟：配置模拟用户，配置入展模拟，使用hive配阅读全文

posted @ 2020-10-04 15:09 荣锋亮阅读(337) 评论(0) 推荐(0) 编辑

drill 学习五配置说明- 内存

摘要：关于 drill 的配置主要包含了：内存配置多租户配置安全配置性能以及功能配置查询profile以及数据配置配置内存配置 drill 使用包含了jvm 的直接内存，堆内存，核心使用最多的是直接内存，默认是8G，但是推荐配置更好（drill 高效使用了内存）大部分场景drill使用的是内阅读全文

posted @ 2020-10-04 11:38 荣锋亮阅读(402) 评论(0) 推荐(0) 编辑

drill 学习四 drill参考案例

摘要：具体案例来自官方文档，只是简单的说明下，详细的可以参考官方文档环境准备运行drill 测试环境可以通过docker运行，简单方便简单查询查询json文件 SELECT * FROM cp.`employee.json` LIMIT 3; 查询parquet文件 SELECT * FROM d 阅读全文

posted @ 2020-10-04 11:00 荣锋亮阅读(343) 评论(0) 推荐(0) 编辑

drill 学习三 drill 参考架构介绍二

摘要：前边有简单介绍过drill的整体设计，以下是关于查询执行处理的简单介绍drill 包含了一个foreman 组件 foreman 主要是进行会话以及sql 处理 sql 处理过程参考图：说明：从客户端或应用程序接收查询的Drillbit成为查询的foreman，并驱动整个查询。Foreman 阅读全文

posted @ 2020-10-04 08:13 荣锋亮阅读(384) 评论(0) 推荐(0) 编辑

drill 学习三 drill 参考架构介绍一

摘要：以前大概有介绍过drill，drill 是一个低延迟的分布式查询引擎，drill 的核心是 drillbit 服务该服务负责接受来自客户端的请求，同时处理查询并将结果返回给客户端参考通信架构图核心组件图 rpc endpoint 是一个低开销的，以及protobuf的rpc 通信处理，以及zk 阅读全文

posted @ 2020-10-03 22:23 荣锋亮阅读(408) 评论(0) 推荐(0) 编辑

drill 学习二 drill 运行模式简单说

摘要：测试环境的运行还是比较简单的，我们核心的是jvm drill 运行模式嵌入式模式比较适合测试（当然基于单机运行还是可以的,注意单机生产需要修改一些配置参数，很重要）运行命令 bin/drill-embedded 分布式集群模式依赖zk，我们需要安装zk，zk 的集群节点需要至少3个节点（奇数阅读全文

posted @ 2020-10-02 09:13 荣锋亮阅读(329) 评论(0) 推荐(0) 编辑

drill 学习一 drill 基本介绍

摘要： drill 是一个大数据sql 查询引擎（当然对于hdf也是支持写入的，我们的主要场景还是数据查询） drill 支持的数据格式 drill 支持的数据格式较多，以下是一个简单的说明 csv，tsv，psv或者其他任意用分隔符字段的数据（当然我们可以自己配置数据解析——通过存储插件配置选项） jso 阅读全文

posted @ 2020-10-02 09:02 荣锋亮阅读(1244) 评论(0) 推荐(0) 编辑

java 应用基于mongo driver监控简单说明

摘要： mongo java 版本的driver提供了比较多的metrics，我们之需要实现对应的Listener就可以方便的监控mongo 应用了，以下是一些简单的说明直接使用java driver 模式 public class TestCommandListener implements Comma 阅读全文

posted @ 2020-09-30 18:07 荣锋亮阅读(952) 评论(0) 推荐(0) 编辑

Kubernetes Multi-Tenancy — A Best Practices Guide

摘要：转自:https://medium.com/faun/kubernetes-multi-tenancy-a-best-practices-guide-88e37ef2b709 Kubernetes multi-tenancy is a topic that more and more organiz 阅读全文

posted @ 2020-09-30 13:02 荣锋亮阅读(350) 评论(0) 推荐(0) 编辑

maven 项目打包不包含META_INF maven 的方法

摘要： maven 生成的jar 包不包含META_INF maven 的目的很简单，就是不打算暴露太多的关于maven profile 配置（可能会有敏感信息）解决方法参考自己的实际项目以及使用的构建方式添加addMavenDescriptor为false 的配置以下是一个spring boot 的阅读全文

posted @ 2020-09-30 12:08 荣锋亮阅读(3280) 评论(0) 推荐(0) 编辑

QRGen 一个灵活简单的java 二维码生成jar 包

摘要： QRGen 是基于ZXing 包装的一个二维码生成jar包，使用简单（一行代码搞定二维码）使用引用包 <repositories> <repository> <id>jitpack.io</id> <url>https://jitpack.io</url> </repository> </rep 阅读全文

posted @ 2020-09-29 20:50 荣锋亮阅读(684) 评论(0) 推荐(0) 编辑

token模式请求图片资源

摘要：场景很简单，主要是接口需要认证包括图片，但是使用了前后端分离的模式，所以直接基于src模式指定图片是有问题的（权限）解决方法认证模式使用cookie 但是在现有的设计中不太合理，也比较费事，因为使用了spring cloud 认证在gateway 重新请求指定src图片数据理论上肯定不能基于h 阅读全文

posted @ 2020-09-29 20:19 荣锋亮阅读(2151) 评论(0) 推荐(0) 编辑

扩展自定义spring boot prometheus metrics

摘要：实现原理很简单，主要是基于micrometer包装提供的MeterRegistry bean 进行扩展项目结构 maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/ 阅读全文

posted @ 2020-09-29 17:52 荣锋亮阅读(1895) 评论(0) 推荐(0) 编辑

Managing PostgreSQL users and roles

摘要：转自:https://aws.amazon.com/cn/blogs/database/managing-postgresql-users-and-roles/,一篇很不错的介绍pg 权限的 PostgreSQL is one of the most popular open-source rela 阅读全文

posted @ 2020-09-29 16:34 荣锋亮阅读(364) 评论(0) 推荐(0) 编辑

Static Analysis of Java Enterprise Applications: Frameworks and Caches, the Elephants in the Room

摘要：一篇不错的关于jvm应用静态分析的介绍，https://blog.acolyer.org/2020/09/25/jackee/ 参考资料 https://github.com/soot-oss/soot https://github.com/wala/WALA https://bitbucket.o 阅读全文

posted @ 2020-09-28 23:29 荣锋亮阅读(205) 评论(0) 推荐(0) 编辑

使用gopacket 解析一个简单的sql server 协议

摘要：这篇应该说是属于基于gopacket 分析sql server 数据包的一个简单测试（没什么技术含量，大部分关于sql server解析的还在测试）预备知识 sql server使用的是tds协议，这个协议在微软的官方能看到相关的技术文档，我们可以参考技术文档分析以及学习协议，通过 wiresha 阅读全文

posted @ 2020-09-28 15:37 荣锋亮阅读(1906) 评论(3) 推荐(0) 编辑

gopacket 流量抓包golang 包

摘要： gopacket 是一个很不错的golang 包装的libpcap 包，提供了灵活的数据包处理，是一个很不错的工具这几天在尝试基于gopacket 分析sql server 应用的数据包，等后边开发完成，会提供一些代码说明参考资料 https://godoc.org/github.com/goo 阅读全文

posted @ 2020-09-26 18:19 荣锋亮阅读(1617) 评论(0) 推荐(0) 编辑

pmm 自定义prometheus 配置

摘要： pmm 基于ansible自动生成运行的配置文件，我们可以基于pmm 定义好的一个基础配置提供自定义配置的扩展配置目录说明 /srv/prometheus/prometheus.base.yml 参考配置 remote_write: - url: http://1.2.3.4:8428/api/v 阅读全文

posted @ 2020-09-24 19:31 荣锋亮阅读(738) 评论(0) 推荐(0) 编辑

Hasura 即将支持更多的数据库类型

摘要： Hasura 即将支持更多的数据库类型了，不只是postgres，即将支持mysql,sql server,而且对于pg 的支持也将包含好多新的特性 pg 支持特性多pg 实例一个Hasura 引擎多Hasura 引擎一个pg实例一只读权限运行在一个已经存在的pg上参考资料 http:// 阅读全文

posted @ 2020-09-24 09:17 荣锋亮阅读(647) 评论(1) 推荐(0) 编辑

apache knox apache hdaoop 生态的rest api && 应用网关

摘要： apache knox apache hdaoop 是生态中的一个est api && 应用网关，以下是一张来自官方的参考图，提供了组件的说明参考组件说明 apache knox 是apache hadoop 生态中一个很不错的工具，值得试用参考资料 https://knox.apache.o 阅读全文

posted @ 2020-09-23 19:18 荣锋亮阅读(351) 评论(0) 推荐(0) 编辑

使用minio替换fastdfs 文件系统

摘要：一个实践，属于业务需求：需求 fastdfs的灵活性以及安全控制上不是很方便，而且语言调用上也不方便，所以需要无缝的迁移老的 fastdfs到一个合适的分布式文件系统（语言友好，web友好，高性能，灵活）原有架构模式参考如图，很简单，也很标准基于group同名节点之间自动数据同步，同时使用ng 阅读全文

posted @ 2020-09-21 19:47 荣锋亮阅读(4170) 评论(0) 推荐(0) 编辑

tcpcollect基于libpcap 监听mysql sql

摘要： tcpcollect 是基于libpacp 开发的分析 mysql 查询的工具，很不错，简单清晰，以下是一个简单的使用构建二进制文件 clone 代码&&构建 https://github.com/hoterran/tcpcollect.git 容器 Dockerfile FROM debian: 阅读全文

posted @ 2020-09-21 17:19 荣锋亮阅读(498) 评论(0) 推荐(1) 编辑

一种业务延时状态分析的方法

摘要：很多时候我们进行分析业务系统问题的时候不简单的只是请求带宽情况，对于数据的实时状态也是比较重要的比如tcp 的延迟情况（需要实时，尤其是在分析黑盒以及复杂系统的时候，db，以及基于网络的复杂业务系统）一张参考图方案很简单，实际上现在有好多链路分析的工具，这里只关注黑盒模式同时系统有没有使用相阅读全文

posted @ 2020-09-21 17:15 荣锋亮阅读(283) 评论(0) 推荐(0) 编辑

tcprstat 使用的几个问题

摘要： bonding_masters: No such device 因为使用了bond，解决方法，运行的时候指定ip You don't have permission to capture on that device (socket: Operation not permitted) 大部分场景是在阅读全文

posted @ 2020-09-21 13:03 荣锋亮阅读(291) 评论(0) 推荐(0) 编辑

tcprstat docker 镜像

摘要： tcprstat docker 镜像构建很简单，直接使用其他操作系统构建好二进制文件，然后copy到需要的容器里边就可以了但是有一个需要注意的是 apline基础镜像libc, alpine 使用的不是gnulibc而是musl libc，对于alpine 镜像，可以直接使用静态编译的二进制文件阅读全文

posted @ 2020-09-21 11:35 荣锋亮阅读(281) 评论(0) 推荐(0) 编辑

tcprstat 很不错的服务器时延统计工具

摘要： tcprstat 是一个很不错的网络通信检测，可以支持多种应用协议的处理安装安装使用了一个fork版本 https://github.com/y123456yz/tcprstat git clone https://github.com/y123456yz/tcprstat.git yum - 阅读全文

posted @ 2020-09-20 09:35 荣锋亮阅读(706) 评论(0) 推荐(0) 编辑

记一次linux 内存异常的处理

摘要：最近一次接到一个反馈linux系统内存占用很高，通过top没看到异常的服务，使用free 命令查看内存占用就是很高，操作系统内存在49G，直接就占用了40G，可用的很少，而且反馈说主机重启之后直接也就占用了40G的空间大致分析在刚开始的时候感觉是应用异常（没了解少直接重启也出现类似问题），t 阅读全文

posted @ 2020-09-20 09:03 荣锋亮阅读(844) 评论(0) 推荐(0) 编辑

openresty+pdf.js 实现一个通用的pdf预览服务

摘要： pdf.js 是日常使用比较多的一个web端pdf预览方案，因为默认有一些安全策略（同源，但是也可以基于cors 解决）所以为了简单基于nginx 的代理集成pdf.js 这样可以比较灵活的解决跨域以及静态资源的问题，同时也集成了nginx的 cache 方便对于pdf文件cache加速pdf 的阅读全文

posted @ 2020-09-18 19:26 荣锋亮阅读(921) 评论(0) 推荐(1) 编辑

golang init 文件处理

摘要：主要是基于go-ini 提供基于配置的管理环境准备项目结构 ├── README.md ├── go.mod ├── go.sum ├── main.go ├── server.ini └── server2.ini go.mod module myini go 1.14 require 阅读全文

posted @ 2020-09-16 18:33 荣锋亮阅读(437) 评论(0) 推荐(0) 编辑

批量取消订阅github watch 的方法

摘要：日常我们可以会对自己关注的github项目直接添加watch，可能会越来越多，造成一堆邮件信息，实际上 github给我们提供了一个很不错的项目，可以方便的批量禁用watch 地址: https://github.com/watching 参考资料 https://docs.github.com/e 阅读全文

posted @ 2020-09-15 17:10 荣锋亮阅读(1745) 评论(0) 推荐(0) 编辑

bulma 基于flexbox 的css框架

摘要： bulma 是一个基于flexbox 的css 框架，从github 的start来说，是一个很不错的框架，是很值得使用的。以前我们选择的布局框架可能是bootstrap 参考资料 https://bulma.io/alternative-to-bootstrap/ https://github. 阅读全文

posted @ 2020-09-13 22:21 荣锋亮阅读(285) 评论(0) 推荐(0) 编辑

golang ldap 学习

摘要：就是一个简单的关于ldap的学习，ldap server 使用了openldap，基于docker 运行环境准备 docker-compose 文件 version: "3" services: ldap: image: osixia/openldap:latest environment: - 阅读全文

posted @ 2020-09-12 22:38 荣锋亮阅读(2297) 评论(0) 推荐(0) 编辑

xx2http 模式玩法

摘要：实际上是一个很简单的玩法，就是一切可行的都转换http，我们可以将grpc-http，db-http，mq-http，wf-http。。。。一张参考图简单概述因为实际常见业务模型的特殊行，我们需要集成，基于http 的模式是一个简单，同时灵活的，而且有些服务因为特殊性，是不支持其他语言访问阅读全文

posted @ 2020-09-10 20:42 荣锋亮阅读(539) 评论(0) 推荐(0) 编辑

导航

公告