荣锋亮 - 博客园

nginx njs 0.7.7发布

摘要：最近nginx njs 模块发布了0.77 版本了有一些新特性新特性 nginx 模块 njs 对于 http 以及stream 能力的扩展，js_import ，js_path ，js_set ， js_var 支持server 以及location context了（server 不支持）阅读全文

posted @ 2022-09-03 08:42 荣锋亮阅读(356) 评论(0) 推荐(0) 编辑

opensergo 阿里开源的语言无关的云原生服务治理指南

摘要： opensergo 是阿里巴巴开源提供的语言无关的云原生服务治理指南，包含了不少子项目（指南，golang，java，协议）概览说明 opensergo 还是很完备的，很值得学习参考，后续仔细研究下参考资料 https://github.com/opensergo/opensergo-spec 阅读全文

posted @ 2022-09-01 23:55 荣锋亮阅读(335) 评论(0) 推荐(0) 编辑

主机网络限速+测速工具

摘要： wondershaper 是基于tc 包装的一个很不错的网络限速工具，speedtest-cli 是一个网络测速工具speedtest 是基于浏览器的测速工具，同时也包含了不少语言的扩展，都是比较值得使用的参考资料 https://github.com/sivel/speedtest-clihtt 阅读全文

posted @ 2022-08-31 23:13 荣锋亮阅读(303) 评论(0) 推荐(0) 编辑

nginx proxy_pass 包含路径问题

摘要： nginx proxy_pass 是可以包含路径的，同时路径如果包含/ 以及不包含/的效果是不一样的参考包含路径 location /api/v1/ { proxy_pass http://127.0.0.1/myapi/; } 请求之后就变成了: http://localhost/api/v1 阅读全文

posted @ 2022-08-31 21:25 荣锋亮阅读(1341) 评论(0) 推荐(0) 编辑

windows jenkins openssh 集成问题

摘要：最近项目需要使用windows openssh 的一些能力解决一些问题，按照一般的安装方法，肯定是使用最新版本的，但是安装之后通过ssh 客户端的确是可以正常的链接，但是通过jenkins 链接就是不成功，在开启了log 日志之后也没发现什么线索，因为以前是使用过windows openssh 的而阅读全文

posted @ 2022-08-31 20:46 荣锋亮阅读(79) 评论(0) 推荐(0) 编辑

一些不错的nginx 开发资料

摘要：最近在学习nginx，整理一些感觉不错的资料，方便使用，一个是taobao tengine 团队写的关于nginx 介绍的，一个是白云山团队翻译的还有一个值得阅读的是openresty的一些高质量模块说明主要是想整体学习下nginx 的内部机制，提高解决问题的能力，同时也可以学习以下设计，总处于阅读全文

posted @ 2022-08-28 11:26 荣锋亮阅读(58) 评论(0) 推荐(0) 编辑

dremio 22.1.1 发布

摘要：这次dremio 的发布从功能上更多是bug 修复比较多，对于增强上主要是调整了对于嵌入nessie 历史数据的处理，允许对于非分片列的运行时过滤优化bug 修复还是比较多的，具体可以参考官方文档参考资料 https://docs.dremio.com/software/release-notes 阅读全文

posted @ 2022-08-25 20:17 荣锋亮阅读(37) 评论(0) 推荐(0) 编辑

nginx proxy_cache 无法生效问题解决

摘要： nginx proxy_cache 是一个比较有用的东西，可以对于系统请求的资源进行cache，可以提升系统的性能参考玩法参考资料 cache zong proxy_cache_path /data/nginx_caches2 levels=1:2 keys_zone=static_cache1 阅读全文

posted @ 2022-08-22 21:17 荣锋亮阅读(983) 评论(0) 推荐(0) 编辑

nginx ngx_http_degradation_module 模块

摘要： ngx_http_degradation_module 是一个不错的nginx 模块，但是官方文档没有写，主要的场景是在低内存的情形下允许Nginx服务器返回444错误或204错误参考使用 http { degradation sbrk=500m; // main 级别的 server { lo 阅读全文

posted @ 2022-08-21 18:53 荣锋亮阅读(146) 评论(0) 推荐(0) 编辑

基于iap 的安全控制

摘要：一篇来自Teleport 团队的安全实践，还是值得学习的，链接https://thenewstack.io/zero-trust-network-security-with-identity-aware-proxies/ 参考架构说明来自hashicorp 的Boundary 方案也是一个不错的阅读全文

posted @ 2022-08-21 18:39 荣锋亮阅读(53) 评论(0) 推荐(0) 编辑

openlitespeed LiteSpeed 的开源版

摘要： LiteSpeed 国内可能使用的人不是很多，大家使用nginx 比较多，据说LiteSpeed 性能是nginx 的好多倍 openlitespeed 的特性事件驱动兼容apache 的mod_rewirte 管理员友好安全以及速度集成了anti-ddos以及modsecurity v3 阅读全文

posted @ 2022-08-21 17:51 荣锋亮阅读(133) 评论(0) 推荐(0) 编辑

一些不错的web 性能测试工具

摘要：以下整理一个不错的web 性能测试工具，主要是国外的可以用来性能（同时也包含了一些开源方案） sitecheck&performance sucuri 公司的安全以及性能测试工具 sitespeed 这个东西我以前介绍过一个工具集可以用来进行web 性能测试以及优化 pagespeed google 阅读全文

posted @ 2022-08-21 17:32 荣锋亮阅读(182) 评论(0) 推荐(0) 编辑

mongo docker 内存问题

摘要： mongo docker 镜像对于cgroup 的内存管理是有点问题的，所以推荐基于容器运行mongo 的配置上wiredTigerCacheSizeGB 的大小可以规避内存占用的问题(同时最好做好内存限制) 服务内容占用情况查看 db.adminCommand( { hostInfo: 1 } 阅读全文

posted @ 2022-08-18 23:07 荣锋亮阅读(280) 评论(0) 推荐(0) 编辑

一次nginx 请求真实ip 问题处理

摘要： nginx ngx_http_realip 模块是比较重要的，我以前也大概说过，同时网上关于此模块的资料也不少，今天就碰到了一个获取真实ip 的问题记录下参考业务模型问题以前的配置,waf 会自动携带ip 到X-Forwarded-For，同时会附加最后一跳的ip real_ip_heade 阅读全文

posted @ 2022-08-17 22:39 荣锋亮阅读(215) 评论(0) 推荐(1) 编辑

pixie k8s 原生应用即时监控工具

摘要： pixie 使用了ebpf 进行k8s 服务的观测支持的特性自动遥测： Pixie 使用 eBPF 自动收集遥测数据，例如全身请求、资源和网络指标、应用程序配置文件等。在此处查看完整的数据源列表。集群内边缘计算： Pixie 在集群本地收集、存储和查询所有遥测数据。Pixie 使用不到 5% 阅读全文

posted @ 2022-08-17 21:36 荣锋亮阅读(712) 评论(0) 推荐(1) 编辑

nginx ngx_http_addition_module 模块openresty content_by_lua 不能生效的原因

摘要： nginx 的ngx_http_addition_module 模块也是一个修改content 的好东西，对于openresty 我们经常使用content_by_lua 阶段处理但是经过分析ngx_http_addition_module 源码的处理机制，他是基于body_fiter 处理的，所阅读全文

posted @ 2022-08-16 00:07 荣锋亮阅读(340) 评论(0) 推荐(1) 编辑

nginx 的 ngx_http_addition_module 模块

摘要： nginx 的ngx_http_addition_module 提供了before 以及after 的能力，可以方便进行请求的处理参考使用环境 docker-compose 文件 version: '3' services: app: image: openresty/openresty:1.2 阅读全文

posted @ 2022-08-15 21:09 荣锋亮阅读(127) 评论(0) 推荐(0) 编辑

nginx 一些简单访问控制模块

摘要： nginx 已经内置了一些简单的访问控制模块，利用好这些模块我们可以提升系统的安全几个比较有用的标准模块基本都是利用了access 阶段的能力 limit_except 限制请求方法的（类似白名单，可以与access 集成使用） access 的allow 以及deny （ip 防护，支持基于c 阅读全文

posted @ 2022-08-15 09:40 荣锋亮阅读(58) 评论(0) 推荐(0) 编辑

一些网络延迟测试工具

摘要：主要整理一些工具，方便使用参考工具 iperf 比较老牌的，使用的用户比较多 ethr 微软基于golang 开发的，新秀 nuttcp 基于了nttcp，原始来源是ttcp scamper 一个比较强大的工具，集成了众多工具网络工具的能力， pscheduler 完成的BWCTL 替换工具，很阅读全文

posted @ 2022-08-14 16:24 荣锋亮阅读(511) 评论(0) 推荐(0) 编辑

orioledb 集成citus 测试

摘要：前边制作了一个简单的orioledb 集成citus 的docker 镜像dalongrong/orioledb:citus-11.0.5,以下是一个简单测试环境准备 docker-compose 文件 version: '3' services: app: image: dalongrong/o 阅读全文

posted @ 2022-08-14 00:42 荣锋亮阅读(59) 评论(0) 推荐(0) 编辑

orioledb 集成 citus docker 镜像

摘要：主要打算集成orioledb以及citus，基于了citus 官方的docker 镜像，进行了简单的修改参考修改使用了alpine 基础镜像 FROM orioledb/orioledb ARG VERSION=11.0.5 LABEL maintainer="Citus Data https: 阅读全文

posted @ 2022-08-14 00:26 荣锋亮阅读(93) 评论(0) 推荐(0) 编辑

edgedb 2.0 发布了

摘要： edgedb 最近的提升还是很多的，就在7月低左右2.0 发布了新特性 admin ui，后边管理就更加方便了 edgesql 顶级 group 语法支持对象级的安全控制 range 类型官方rust client 库说明 edgedb 易用性越来越好了，值得系统学习下了参考资料 htt 阅读全文

posted @ 2022-08-13 23:32 荣锋亮阅读(140) 评论(0) 推荐(0) 编辑

orioledb 对于top pg 问题的解决方法

摘要：内容来自官方ppt ，支持整理下，可以看出提升还是不少的问题解决方法说明官方那个ppt 很值得查看，从官方的压测报告来看，提升是不少的，期待ga，后边测试下与citus 集成的可能性,目前orioledb是从core 对于pg 进行了patch 处理，如果能到pg官方中就更好了，毕竟如果使用阅读全文

posted @ 2022-08-13 22:30 荣锋亮阅读(58) 评论(0) 推荐(0) 编辑

orioledb pg 存储引擎

摘要： orioledb 是社区开发的一个新的pg 存储引擎，主要是为了解决现在pg 的一些问题，官方共享的一个ppt 还是值得学习的（以下链接中）以下是一个简单的学习使用 orioledb 特性支持现代硬件，orioledb 更加适合sdd 以及nvarm ，可以更好的解决cpu瓶颈问题减少维护，o 阅读全文

posted @ 2022-08-13 18:50 荣锋亮阅读(351) 评论(0) 推荐(0) 编辑

通过openresty 解决遗留 webservice 接口安全问题

摘要：技术一直在变革，老的技术一般都会成为现在的技术债，加上早期大家一般对于安全不是很重视（尤其是在内网环境的时候），尽管webservice 是包含了 ws-security 安全指南的，但是很多时候大家不是很重视（而且这个规范稍晚），以下是一个简单的实践参考图原理简单说明核心还是利用了openr 阅读全文

posted @ 2022-08-13 12:27 荣锋亮阅读(251) 评论(0) 推荐(0) 编辑

nginx proxy webservie 问题&实践

摘要： webservice 具有特殊性，因为wsdl 文件是服务器端生成的（大部分，而且是动态的），所以我们直接使用nginx 进行proxy 会有问题实际上此问题比较常见，而且网上也有人碰到，可能因为时间比较长了，技术变动，不见得就能解决问题，以下是自己在实践中一些整理主要的问题对于soap 的地阅读全文

posted @ 2022-08-12 21:22 荣锋亮阅读(771) 评论(0) 推荐(0) 编辑

dremio udf 以及行级以及列级访问控制资料

摘要：就在最近官方blog 发布了关于udf 以及行级以及列级访问控制的详细介绍，还是值得学习阅读的，我以前是简单介绍过通过阅读官方博客，发现了对于自定义函数的使用，同时纠正下以前关于只能权限控制使用的说明（实际上也可以直接使用的）参考使用创建 CREATE FUNCTION area (x DOU 阅读全文

posted @ 2022-08-11 00:35 荣锋亮阅读(37) 评论(0) 推荐(0) 编辑

KettlePack 最新版本docker 镜像的制作说明

摘要： KettlePack 最新版本没有docker镜像，以下是制作的简单说明原理比较low，核心是替换tomcat webapp 的应用，可以先删除，然后进行copy 就可以了参考Dockerfile 首先需要下载最新版本的war包，然后解压 FROM registry.cn-hangzhou.a 阅读全文

posted @ 2022-08-10 23:59 荣锋亮阅读(208) 评论(0) 推荐(0) 编辑

KettlePack 功能比较完备的kettle 管理工具

摘要： KettlePack 是国人开发，并可以免费使用的管理kettle 任务的工具，界面以及体验还是不错的运行基于docker-compose 目前官方最新的是0.7.4 但是没有发布，我自己构建了一个，大家可以试用 version: '3' services: mysql: image: mysq 阅读全文

posted @ 2022-08-10 22:59 荣锋亮阅读(1661) 评论(0) 推荐(0) 编辑

基于perfino+ jprofiler 分析dremio

摘要：以前大概写过关于使用jprofiler 分析dremio的，以下是结合perfinoperfino 与jprofiler 都是一家公司的产品，perfino 提供了完整的apm 能力，同时基于web，使用以及管理还是比较方便的而且支持自动依赖发现，可以实现系统资源的完整查看（实际上apm 平台都支持阅读全文

posted @ 2022-08-09 20:31 荣锋亮阅读(90) 评论(0) 推荐(0) 编辑

jprofiler Alpine 容器集成

摘要： jprofiler 支持是支持基于容器运行的，模版了附加模式以及agent 模式，从jprofiler12 开始官方就已经支持Alpine linux 了（使用了musl-x64）集成模式对于已经运行的可以通过gui ，通过ssh 通道，然后选择节点容器附加运行启动时的可以直接基于agen 阅读全文

posted @ 2022-08-08 23:08 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

.net 调用spring boot rest api 的100-Continue问题

摘要：业务场景比较简单，以前使用的是nginx 到spring boot rest api，现在临时调整为了.net client 直接到spring boot rest api出现了超时问题，然后通过抓包发现有莫名的100-Continue 请求，结果搜索了下居然也有人有类似的问题，之后通过wiresh 阅读全文

posted @ 2022-08-08 21:22 荣锋亮阅读(156) 评论(0) 推荐(0) 编辑

wireshark ssl 解密处理

摘要：很多时候我们先上是需要进行ssl 解密分析处理的，尤其是面向wireshark 抓包场景，以下是一个简单的试用配置SSLKEYLOGFILE 我的系统使用mac, 配置的环境变量应该是启动是一个终端 export SSLKEYLOGFILE=$HOME/myssl-keys/mykeys.log 阅读全文

posted @ 2022-08-07 22:38 荣锋亮阅读(1016) 评论(0) 推荐(0) 编辑

localstack 1.0 ga 了

摘要： localstack 是一个很不错的本地mock aws 服务的工具，可以方便的做为我们日常aws 本地测试的工具集，提升系统的稳定性最近1.0 ga 了，详细的可以参考以下链接，localstack 对于使用aws 的用户来说还是很值得学习使用的参考资料 https://localstack.c 阅读全文

posted @ 2022-08-07 09:48 荣锋亮阅读(34) 评论(0) 推荐(0) 编辑

dremio 默认parquet 文件存储的一些定义参数

摘要：实际上官方文档对于parquet 的定义已经有一些说明了，以下结合源码验证下参考配置参考配置参数sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java block size 默认是256m String PARQUET_BLOC 阅读全文

posted @ 2022-08-03 21:50 荣锋亮阅读(68) 评论(0) 推荐(0) 编辑

dremio 对于parquet 文件的一些要求以及优化处理

摘要： dremio 比较依赖parquet 存储格式，同时对于parquet 的处理进行了不少的优化读parquet 文件 3.1.3 提供了支持非堆内存的操作，3.2 增强了对于云parquet reader 的处理 parquet 的一些限制多结构嵌套的支持限制到16 数组最大元素个数限制为128 阅读全文

posted @ 2022-08-03 20:58 荣锋亮阅读(104) 评论(0) 推荐(0) 编辑

使用py4j 实现python与java 的互调用

摘要： py4j 是基于rpc 模式的python与Java 调用的处理模式，功能还是很强大的，而且pyspark 就是基于此的参考使用 java 项目主要提供server 能力 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns= 阅读全文

posted @ 2022-07-30 20:20 荣锋亮阅读(769) 评论(0) 推荐(0) 编辑

dremio arrow flight sql odbc 源码开源了

摘要：就在最近看到dremio flight sql odbc 支持mac 以及linux 了，看了下github 发现odbc 源码也是开源了，很不错，很值得学习下dremio 对于arrow flight sql odbc 的开发以及集成处理，具体项目源码参考链接参考资料 https://githu 阅读全文

posted @ 2022-07-30 11:36 荣锋亮阅读(87) 评论(0) 推荐(0) 编辑

dremio arrow flight sql odbc 驱动支持mac 以及linux 了

摘要： dremio 的效率还是很高的，已经支持mac 以及linux了，以前只是支持windows，如果大家可以升级到dremop 22 版本，odbc 的问题就基本没啥问题了 mac 安装效果驱动的一些信息可以通过strings 命令看到，包含了grpc 的信息 strings libarrow- 阅读全文

posted @ 2022-07-30 11:06 荣锋亮阅读(72) 评论(0) 推荐(0) 编辑

haproxy dataplaneapi 2.6 发布

摘要： haproxy dataplaneapi 2.6 包含了一些新特性，还是很不错的新特性主要还是关于haproxy 2.6 版本新特性，指令的支持 ring 指令支持 global 配置，global 配置部分，可以全部支持了 default，frontend，backend 关键字能力的支持 h 阅读全文

posted @ 2022-07-29 23:15 荣锋亮阅读(99) 评论(0) 推荐(0) 编辑

导航

公告