上一页 1 ··· 29 30 31 32 33 34 35 36 37 ··· 121 下一页

2022年5月29日

使用 testcontainer nginx +jest 集成测试njs 模块

摘要： jest 是一个很不错的js 测试框架，我们可以此方便的进行js 测试，基于testcontainer 我们可以使用容器 方便的测试，以下是一个参考使用 项目准备 项目结构 ├── README.md ├── conf │ └── nginx.conf ├── dist │ └── main.js 阅读全文

posted @ 2022-05-29 22:36 荣锋亮 阅读(162) 评论(0) 推荐(0) 编辑

nginx openresty 几个测试工具

摘要： 参考图 使用说明 对于经常基于perl 开发的可以直接基于nginx 或者openresty 的nginx 测试工具，基于基于nodejs 的我们可以直接使用jirutka/nginx-testing （基于mocha）是一个不错的工具，因为现在jest 是一个很不错的js 测试套件，我们可以利用容 阅读全文

posted @ 2022-05-29 17:11 荣锋亮 阅读(156) 评论(0) 推荐(0) 编辑

2022年5月28日

rrun+juicefs 进行nodejs 模块的运行

摘要： 参考图 玩法说明 我们使用ncc 将开发的node 应该直接all-in-one，同时暴露一个默认的npm （cmd ）实现，同时直接利用juicefs 的s3 endpoint 上传到s3 中，juicefs 会做为一个 sidecar 挂载到我们的rrun 运行时节点中（可以基于虚拟机，以及容器 阅读全文

posted @ 2022-05-28 23:06 荣锋亮 阅读(80) 评论(0) 推荐(0) 编辑

nginx njs npm hashids 模块使用

摘要： 主要是将今天说到的工具做一个使用说明 场景 直接复用npm 的hashids 生成一个id，同时基于rollup 构建，对于缺少js 特性支持的基于core-js 进行polyfill 参考代码 fix hashids 问题 因为原始hahsids 是基于了set ，但是对于set支持有点问题，所以 阅读全文

posted @ 2022-05-28 21:04 荣锋亮 阅读(351) 评论(0) 推荐(0) 编辑

nginx njs 方便的cli 测试工具

摘要： 很多时候我们开发的njs 模块需要测试，官方实际上提供了一个njs cli 命令，可以方便的用来测试js 代码## 构建 当我们构建了njs 之后会在build 目录包含一个njs 的cli 参考使用 app.js let app = { name:"dalong", age:333 } let i 阅读全文

posted @ 2022-05-28 17:15 荣锋亮 阅读(101) 评论(0) 推荐(0) 编辑

基于typescript 开发njs 模块的一个玩法

摘要： 如果体验了njs 模块的能力会发现njs 是一个很不错的js 模块，但是问题也不少，js 类型以及函数支持，同时npm模块支持也是 一个很大的问题，个人比较推荐的集成模式是基于rollup 构建 参考玩法 集成说明 因为缺少js 特性支持，我们可以基于core-js 进行扩展，对于npm 的集成我们 阅读全文

posted @ 2022-05-28 17:03 荣锋亮 阅读(345) 评论(0) 推荐(0) 编辑

2022年5月27日

typescript njs 开发参考资料

摘要： 以前大概介绍过，以下是一些参考资料其中njs-typescript-starter 是一个很不错的项目值得参考学习，同时作者提供了babel-reset-njs 解决了发部分njs 对于es 支持的问题 说明 当前njs 对于js的支持还是有不少欠缺的，所以我们还是需要一些工具解决的，比如requi 阅读全文

posted @ 2022-05-27 22:56 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑

2022年5月26日

dremio 的 joust 的作用

摘要： 以前我大概有说过一些dremio的社区包，今天再看一个文件操作的时候看到了一个对于joust 的具体操作 依赖包 dremio-ce-sabot-joust-cpp-20.1.0-202202061055110045-36733c65.jar dremio-ce-sabot-joust-java-2 阅读全文

posted @ 2022-05-26 18:35 荣锋亮 阅读(73) 评论(0) 推荐(0) 编辑

dremio 21.1 分布式存储单机测试的一种方法

摘要： dremio 21.1 对于分布式存储的变动对于希望体验本地反射是一个比较费事的，我们需要自己配置下，当前支持 的分布式存储实际上是不少的，包含了传统的hdfs，nas，s3 ,mapr,adls, 但是很多是时候大家肯定没有实际条件 实际上有一种最简单方法就是直接使用本地存储，只是使用了类似nas 阅读全文

posted @ 2022-05-26 18:34 荣锋亮 阅读(151) 评论(0) 推荐(0) 编辑

2022年5月25日

dev-sec devops+security 工具集

摘要： dev-sec 提供了分层的安全检查基线，同时基于不同的部署工具提供了方便的模块（ansible，chef，puppet） 分层提供的能力 说明 dev-sec 提供的主机基线工具是一个很不错的东西，ansible是一个不错的东西，其中ansible-collection-hardening是很值得 阅读全文

posted @ 2022-05-25 17:41 荣锋亮 阅读(123) 评论(0) 推荐(0) 编辑

nginx 1.22.0 发布了

摘要： nginx 1.22.0 是一个稳定版本，核心是对于12.x 主线的修复，同时对于pcre2 库支持的ga，这个对于以前的nginx 模块影响不小 说明 同时在当天njs 0.7.4 也发布了，对于fetch 添加了不少新特性，比如超时，校验，buffer 参考资料 https://nginx.or 阅读全文

posted @ 2022-05-25 15:05 荣锋亮 阅读(530) 评论(0) 推荐(0) 编辑

2022年5月24日

gooddata-cn 试用

摘要： gooddata 是一家搞无头bi 的企业，同时也提供了社区版，以下是一些试用 gooddata 包含的特性 语意层 rest api 开发简单 可嵌入 数据可视化 交互dashboard 自定义可视化 自服务分析 启动 启动有点慢，默认账户密码demo@example.com，demo123 do 阅读全文

posted @ 2022-05-24 17:17 荣锋亮 阅读(90) 评论(0) 推荐(0) 编辑

dremio 几个缓存数据清理

摘要： dremio 大量使用了数据缓存，元数据，查询job result，加速数据缓存，spill 本地磁盘缓存 job result 清理 按照官方的说法是系统包含了定时任务，默认会30天自动清理,同时变动之后当手工重启的时候会自定清理，同时不清理job 的profile 只是job result 但是 阅读全文

posted @ 2022-05-24 17:14 荣锋亮 阅读(99) 评论(0) 推荐(0) 编辑

cube.js 对于headless-bi 核心组件的定义

摘要： cube.js 定义自己是一个headless-bi ，同时官方发布了一篇很不错的文章，说明了headless-bi 应该包含的组件 参考图 包含的核心组件 数据模型，cube.js 基于类json 的格式定义了自己的数据模型 访问控制，这个实际上cube.js 是提供了扩展点，以及一些hook我们 阅读全文

posted @ 2022-05-24 13:11 荣锋亮 阅读(340) 评论(0) 推荐(0) 编辑

2022年5月23日

dremio 21.1 分布式存储配置demo

摘要： 主要演示下，具体参数以前我有说明过 环境准备 dockerfile FROM dremio/dremio-oss:21.1 USER root COPY dremio-env-profile /opt/dremio/conf/dremio-env COPY --from=hengyunabc/art 阅读全文

posted @ 2022-05-23 23:23 荣锋亮 阅读(76) 评论(0) 推荐(0) 编辑

dremio 构建几个问题

摘要： 直接基于下载的源码包，以下是自己构建可能的一些问题（因为每个人的电脑问题比较多，以下是整理一些比较典型的） npm 版本问题 建议保持一致，目前当前的版本至少7.7.5 （21.1） 依赖版本问题 如果网络不通这个就是一个问题，可以使用本地模式的，（本地模式的注意需要自己构建下） "react-do 阅读全文

posted @ 2022-05-23 22:05 荣锋亮 阅读(87) 评论(0) 推荐(0) 编辑

2022年5月22日

使用ansible awx 管理ansible 服务部署

摘要： ansible awx 是ansible tower 的开源版，可以解决不少我们的问题 （统一管理，调度，可视化操作） 基于容器的安装部署 awx 的运行也是基于了ansible 运行的，所以我们需要先安装好ansible 构建 make ui-release // 这个还是比较重要的，不然ui 会 阅读全文

posted @ 2022-05-22 23:15 荣锋亮 阅读(776) 评论(0) 推荐(0) 编辑

2022年5月21日

spring 使用jsontemplate 处理rest 响应内容格式

摘要： 实际上jsontemplate只是提供了一种简化json 格式的方法，实际上我们也是可以直接基于模版引擎的 只是jsontemplate 对于json 处理相对简单，同时提供了不少方便的功能 参考图 简单的集成图，只是对于处理我们基于了jsontemplate 代码集成 很简单，核心就是利用json 阅读全文

posted @ 2022-05-21 10:29 荣锋亮 阅读(199) 评论(0) 推荐(0) 编辑

2022年5月20日

nginx 安全请求头

摘要： 一些关于 nginx 配置以及安全头的链接，值得参考，可以保障我们系统的安全 参考资料 https://geekflare.com/tools/tests/rj6uevqzwhttps://github.com/GetPageSpeed/ngx_security_headershttps://dev 阅读全文

posted @ 2022-05-20 12:28 荣锋亮 阅读(150) 评论(0) 推荐(0) 编辑

cratedb 4.8 新特性

摘要： cratedb 4.8 的新特性不少，比较吸引人的就是支持了逻辑复制了 逻辑复制 可以将全部，或者部分数据同步到其他的cratedb 集群中，适合的场景，中心报表，中心存储，这个功能是很不错的 copy from/to 增强 这个提供了不少特性，包含了从s3 拷贝数据，csv 格式解析 参考资料 h 阅读全文

posted @ 2022-05-20 09:18 荣锋亮 阅读(94) 评论(0) 推荐(0) 编辑

2022年5月19日

一次k8s 数据卷异常问题的解决

摘要： k8s 持久卷的问题实际上问题还是不少的，但是总的趋势的会越来越好的，以下记录一个自己处理的问题## 现象k8s 数据卷异常了，容器在启动的时候，k8s 会包装存储一致性检查以及正确的挂载碰到的问题multiply-claimed block(s), shared with 3 file(s)造成挂 阅读全文

posted @ 2022-05-19 23:29 荣锋亮 阅读(215) 评论(0) 推荐(0) 编辑

2022年5月18日

openresty 1.21.4 发布了

摘要： 就在昨天（5.17 ） openresty 发布了1.21.4 版本,按照标准openresty 1.21.4 是基于nginx 的1.21.4 版本开发的 说明 目前nginx 1.21.5 开始，使用pcre2了， 所以后续版本openresty 会有比较大的影响，同时对于以前好多基于pcre的 阅读全文

posted @ 2022-05-18 20:27 荣锋亮 阅读(369) 评论(0) 推荐(0) 编辑

2022年5月17日

nginx ngx_http_realip 的功能以及使用

摘要： 网上关于ngx_http_realip 使用介绍的基本都是一个老生长谈的问题了，对于多级代理配置的这个就是一个常用的解决用户真实ip的方法，以下是使用 的一个简单说明 ngx_http_realip 简单说明 ngx_http_realip 是一个获取用户请求真实ip 的一个模块，可以在多代理链路场 阅读全文

posted @ 2022-05-17 12:49 荣锋亮 阅读(365) 评论(0) 推荐(0) 编辑

2022年5月16日

nodejs 几个方便的打包工具

摘要： vercel 提供了好几个方便的nodejs 打包工具，pkg 以及ncc pkg 使用场景 pkg 可以保证nodejs 可以直接打包到一个二进制文件中，我们可以直接运行就不直接依赖外部nodejs了 ncc 使用场景 ncc 可以将nodejs 应用打包为一个单一文件，好处很明显，就是我们不需要 阅读全文

posted @ 2022-05-16 12:42 荣锋亮 阅读(4151) 评论(0) 推荐(0) 编辑

graylog 新组件 forwarder

摘要： graylog forwarder 属于graylog 的一个新组件了，可以实现发送日志到graylog cloud 或者按需部署的graylog 环境 参考架构 安全 graylog forwarder 是基于tls 保证安全的 安装方法 与graylog 类似，同时提供了软件包以及容器模式 说明 阅读全文

posted @ 2022-05-16 09:15 荣锋亮 阅读(135) 评论(0) 推荐(0) 编辑

2022年5月15日

act 的密钥&&环境变量管理

摘要： 原生的github actions 密钥管理是很强大的，act 也提供了，只是相对简单一些，支持基于环境变量以及文件模式 约定 act -s MY_SECRET=key 使用 key 替换 act -s MY_SECRET 使用环境变量 act --secret-file my.secrets 通过 阅读全文

posted @ 2022-05-15 22:40 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

act 提供的docker 镜像说明

摘要： act 是基于docker 实现了github actions 的本地运行，当然我们直接运行是需要使用docker 镜像的，了解 act内部提供的docker 镜像有助于更好的熟悉内部机制以及更好的使用 一些说明 镜像构建是基于了buildpacj-deps node镜像说明 node 是基于了de 阅读全文

posted @ 2022-05-15 19:13 荣锋亮 阅读(225) 评论(0) 推荐(0) 编辑

act github actions 本地运行试用

摘要： 安装 使用mac 系统安装 brew install act 创建项目 项目结构 ├── .github │ └── workflows │ └── app.yaml ├── package.json ├── src │ └── app.ts ├── tsconfig.json └── yarn.l 阅读全文

posted @ 2022-05-15 01:36 荣锋亮 阅读(562) 评论(0) 推荐(0) 编辑

act 本地运行github actions 工具

摘要： github actions 是一个很不错的ci/cd 能力，我们可以使用github 提供的免费能力，自动化我们软件的构建，测试，以及发布但是默认github actions 是需要云端资源的，很多时候我们是需要本地运行的act 就是一个可以让我们本地运行github actions的工具 本地运 阅读全文

posted @ 2022-05-15 01:04 荣锋亮 阅读(377) 评论(0) 推荐(0) 编辑

2022年5月14日

whichjdk 帮助选择合适的jdk 版本

摘要： whichjdk 实际上属于一个说明，包含了一些指南，方便我们选择合适的jdk，协助规避一些安全风险，同时包含一些特性说明，对于懒人来说是一个值得参考的项目 参考资料 https://github.com/whichjdk/whichjdk.com 阅读全文

posted @ 2022-05-14 23:25 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑

使用api-extractor 开发typescript 项目

摘要： api-extractor 是微软提供的一个强大的工程化typescript 项目开发工具，可以标准化我们的开发 支持的功能 api 报告，可以生成markdown 文档 统一.d.ts 文件（合并一起，使用更加方便） api 文档，生成项目的api 文档 集成玩法 说明 对于开发typescrip 阅读全文

posted @ 2022-05-14 10:37 荣锋亮 阅读(552) 评论(0) 推荐(0) 编辑

2022年5月10日

citus vs greenplum 对比参考

摘要： 主要引用了一篇别人写的文档，但是此文时间比较早了，因为这几年citus 提升是很大的，当然greenplum 也在提升后边可以自己压测下，同时自己在测试了citus 11.0 对于百万级别的表与千万级别的表join 聚合，可以实现很开的处理（400ms）原生pg 需要4s 左右 （目前表没有主键以及 阅读全文

posted @ 2022-05-10 20:11 荣锋亮 阅读(870) 评论(0) 推荐(0) 编辑

使用citus 列式存储压缩数据

摘要： 实际上是一个实际问题，刚好结合问题说明下问题的一种解决方法 问题 注意是基于容器运行的 异常 ERROR: could not resize shared memory segment "/PostgreSQL.1345396376" to 4194304 bytes: No space left 阅读全文

posted @ 2022-05-10 20:00 荣锋亮 阅读(318) 评论(0) 推荐(0) 编辑

citus 以及timescaledb对于时许数据存储的处理

摘要： 从专业程度来说timescaledb 处理时许数据更加方便强大,citus 可以基于pg的分区可以很好的支持时许数据处理 citus 操作流程 一般是创建分区表 参考 CREATE TABLE github_events ( event_id bigint, event_type text, eve 阅读全文

posted @ 2022-05-10 18:54 荣锋亮 阅读(478) 评论(0) 推荐(0) 编辑

2022年5月8日

citus ha 参考部署方案

摘要： 参考图 注意此版本比较适合citus 11.0 以及以上的（但是11.0 暂时还没ga） 集成说明 因为citus 的coordinator、worker 都支持基于流式复制的，我们基于patroni 保证节点的高可用（推荐使用同步复制），为了规避业务使用的问题，我们可以基于haproxy + ke 阅读全文

posted @ 2022-05-08 22:23 荣锋亮 阅读(192) 评论(0) 推荐(0) 编辑

citus 一些不错的资料

摘要： 来自官方博客一些很不错的资料，很值得学习参考 说明 好久没太关注citus 了，通过查看这些内容，了解了不少citus开源的新特性，很值得使用 参考资料 https://www.citusdata.com/blog/2022/03/12/how-to-benchmark-performance-of 阅读全文

posted @ 2022-05-08 20:31 荣锋亮 阅读(92) 评论(0) 推荐(0) 编辑

关于 citus ha 的一些说明

摘要： citus 是一个很不错的pg 集群方案，支持数据分片，多租户特性，11.0 之后支持schema 以及元数据的自动同步，更加方便了 citus ha 需要关注的东西 woker 节点 可以使用流式复制 协调节点 可以视同流式同步复制,当然也可以基于灾备工具的，因为元数据变动比较小，在11.0 之后 阅读全文

posted @ 2022-05-08 20:03 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑

citus 11.0 beta 发布

摘要： citus 11.0 beta 包含了一个特别强大的特性，就是schema 以及元数据自动同步，可以让我们维护集群更加简单了 新玩法 11.0 之前的 问题很明显，协调节点会成为系统的瓶颈点 11.0 以及之后的 基于同步机制我们就可以更好的进行系统负载处理了 11.0 的负载均衡 包含了基于npg 阅读全文

posted @ 2022-05-08 19:38 荣锋亮 阅读(59) 评论(0) 推荐(0) 编辑

localstack terraform 的支持

摘要： terraform 是一个强大的基础设施几代码工具，很强大，localstack 包装了terraform，让我们可以很好的体验terraform 集成aws 强大的能力 环境准备 安装terraform-local pip install terraform-local 使用 初始化 tfloca 阅读全文

posted @ 2022-05-08 11:27 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑

localstack 应用架构

摘要： 以前简单说明了localstack的运行架构，以下简单说明下应用架构，可以方便开发 参考图 说明：从以上图可以看出proxu 是一个比较重要的角色，包含了边缘处理以及内部处理,localstack 依赖了moto 对于aws 服务的mock 操作 参考资料 https://docs.localsta 阅读全文

posted @ 2022-05-08 11:08 荣锋亮 阅读(50) 评论(0) 推荐(0) 编辑

上一页 1 ··· 29 30 31 32 33 34 35 36 37 ··· 121 下一页

导航