荣锋亮 - 博客园

postgres-fdw 集成cratedb 的尝试的几个问题

摘要：尽管cratedb 支持pg 协议但是不是100%兼容的（不像yugabyte db，基于pg）所以进行了一些尝试以及修改pg fdw 源码，支持（目前还是有问题） start transaction 问题 cratedb 对于transction 是不支持的，但是做了协议兼容（兼容的begin语阅读全文

posted @ 2021-01-12 11:37 荣锋亮阅读(234) 评论(0) 推荐(0) 编辑

cratedb 自定义函数

摘要： cratedb 支持自定义函数，但是当前只有js 引擎(基于graalvm)，而且需要企业license （当然我们可以使用免费的3节点的集群）自定义函数格式 CREATE [OR REPLACE] FUNCTION function_name ( [ [arg_name] arg_type ] 阅读全文

posted @ 2021-01-10 19:34 荣锋亮阅读(251) 评论(0) 推荐(0) 编辑

cratedb 集成graphjin 尝试（木有成功）

摘要： graphjin 是一个很不错的graphql engine（library），因为cratedb 兼容pg协议，所以以下是一个简单的集成尝试环境准备 cratedb 环境 version: "3" services: db: image: dalongrong/cratedb:4.4.0 po 阅读全文

posted @ 2021-01-10 19:15 荣锋亮阅读(345) 评论(0) 推荐(0) 编辑

graphjin 试用

摘要：以前大概介绍过graphjin的特性，以下是一个试用注意需要docker&&docker-compose 安装安装 go get github.com/dosco/graphjin 创建app graphjin new app 效果使用注意需要注释关于resolvers 的部分（有异常） c 阅读全文

posted @ 2021-01-09 13:23 荣锋亮阅读(401) 评论(0) 推荐(0) 编辑

gosimple/slug 生成url 友好的slug

摘要： gosimple/slug 是一个golang 包，可以用开生成支持多语言的url 友好的slug 参考使用 package main import ( "fmt" "github.com/gosimple/slug" ) func main() { text := slug.Make("H 阅读全文

posted @ 2021-01-08 23:05 荣锋亮阅读(318) 评论(0) 推荐(1) 编辑

graphjin super-graph的升级版本

摘要：以前有大概介绍过super-graph 一个graphql 引擎，目前super-graph 不维护了，升级为了graphjin graphjin 更加方便灵活，支持的特性也是很多的特性 pg，mysql8，yugabyte 复杂嵌套查询以及修改更新的订阅内建无限滚动数据表结构自动学习基于阅读全文

posted @ 2021-01-08 22:59 荣锋亮阅读(151) 评论(0) 推荐(0) 编辑

编译cratedb 支持多集群节点部署

摘要：很多时候为了体验多集群的特性，但是默认是的3节点的，我们可以修改代码解决参考代码修改主要是关于企业license 服务的 https://github.com/crate/crate/blob/master/enterprise/licensing/src/main/java/io/crate/ 阅读全文

posted @ 2021-01-08 17:28 荣锋亮阅读(308) 评论(0) 推荐(0) 编辑

loki 集成报警通知

摘要： loki 是一个很不错的类似prometheus 的日志系统，我们也可以基于grafana 进行报警添加当然新版本也支持类似alertmanager 模式的报警（后期试用添加说明）原理将loki 数据添加为prometheus 格式的，然后基于prometheus 的模式进行报警（因为loki 阅读全文

posted @ 2021-01-07 20:32 荣锋亮阅读(1728) 评论(0) 推荐(0) 编辑

grafana agent 集成tempo 试用

摘要：很简单就是几个工具椽到一起，方便学习了解grafana agent 对于tempo的支持预备说明 grafana agent 对于tempo的支持，我们需要使用opentelemetry-collector，关于opentelemetry-collector 的使用以及功能可以参考相关资料环境阅读全文

posted @ 2021-01-07 18:59 荣锋亮阅读(2009) 评论(0) 推荐(0) 编辑

grafana agent 与vmagent 的一些比较

摘要： grafana agent 是grafana 为了grafana cloud 开发的轻量的工具，但是也是直接可以使用的（依赖开放的，以及开源标准）以下是grafana agent与vmagent 的一些比较各自的功能 vmagent 参考架构图 vmagent 主要是进行metrcis 处理的，阅读全文

posted @ 2021-01-07 18:56 荣锋亮阅读(1544) 评论(0) 推荐(0) 编辑

基于opentelemetry-collector的系统可视化方案

摘要：借用一张图集成grafana agent 的方案同时也集成了opentelemetry-collector，好处是将一些集中以及基于pull模式的，调整为了push模式，同时 grafana agent 是一个集成了好多工具的接近全家桶的工具，可以减少我们的部署以及维护成本说明上图以及很清晰阅读全文

posted @ 2021-01-07 18:55 荣锋亮阅读(1894) 评论(0) 推荐(2) 编辑

vector 高性能可视化数据pipeline 平台

摘要： vector 是基于rust 编写的高性能，数据可视化平台，支持数据的聚合以及可视化支持数据的collect，transform，route，支持logs，metrics，trace 一张参考图参考部署模型说明 vector 还是很轻量的，而且支持的集成模式也是很多的,同时包含了丰富的数据转换阅读全文

posted @ 2021-01-07 18:53 荣锋亮阅读(1752) 评论(0) 推荐(0) 编辑

grafana tempo 分布式追踪框架学习试用

摘要：环境基于了官方的docker-compose demo 环境准备（基于docker-compose 运行） docker-compose 文件 version: "3" services: tempo: image: grafana/tempo:latest command: - "-storage 阅读全文

posted @ 2021-01-06 18:24 荣锋亮阅读(1787) 评论(0) 推荐(0) 编辑

synthetic-load-generator 一个不错的opentracing trace && metrics && logs 生成工具

摘要： synthetic-load-generator 是基于java 开发的生成opentracing trace，metrics，log的工具使用简单，比较适合测试容器镜像使用 docker-compose 模式 synthetic-load-generator: image: omnition/ 阅读全文

posted @ 2021-01-06 18:22 荣锋亮阅读(346) 评论(0) 推荐(0) 编辑

记一次php.ini配置不合理造成系统加载偏慢问题

摘要： php 是一个很不错的脚本语言，以下是说明关于问题的配置部分，以及解决方法现象系统使用lls 运行php，基于cgi 模式，使用webpi模式部署，系统的现象是运行越来越慢，通过浏览器看到的php 应用首页请求的TTFB在10多秒，而且对于依赖其他的服务的（比如验证码，session 的更慢）阅读全文

posted @ 2021-01-06 11:59 荣锋亮阅读(291) 评论(0) 推荐(0) 编辑

Data-Prepper opendistro 开源的基于es 的trace 分析工具

摘要：后边试用下，具体内容可以看以下链接，了解下Data-Prepper 提供的trace 分析方案，还是很不错的参考资料 https://opendistro.github.io/for-elasticsearch/blog/releases/2020/12/announcing-trace-anal 阅读全文

posted @ 2021-01-05 23:27 荣锋亮阅读(235) 评论(0) 推荐(0) 编辑

使用babel-standalone 让浏览器支持es6特性

摘要： babel-standalone 是一个可以在浏览器端运行babel 编译的工具，同时官方也说明了一些使用场景（需要进行实时编译的）使用使用比较简单，就是添加依赖参考 <div id="output"></div>  <script src="https: 阅读全文

posted @ 2021-01-05 21:11 荣锋亮阅读(1457) 评论(0) 推荐(0) 编辑

tempo grafana 团队开源的分布式追踪框架

摘要：参考架构说明 tempo有一个更好的功能，是方便追踪与log 的集成（loki）,以下参考链接值得看看参考资料 https://github.com/grafana/tempo https://gouthamve.dev/tempo-a-game-of-trade-offs/ https://g 阅读全文

posted @ 2021-01-05 19:09 荣锋亮阅读(349) 评论(0) 推荐(0) 编辑

grafana/agent grafana 团队开源的兼容prometheus 的agent

摘要： grafana/agent 是一个轻量的兼容prometheus 的agent，主要是为了grafana cloud 做的优化。支持的特性服务发现抓取 WAL remote wirte 一些折中不能查询，只能写入到远端存储，类似vmagent recoring rule 不支持，vmagen 阅读全文

posted @ 2021-01-05 19:08 荣锋亮阅读(923) 评论(0) 推荐(0) 编辑

k6 集成goja 的部分集成说明

摘要： k6 对于goja 的集成还是比较强大的，支持了es6（基于babel 的编译能力），同时对于默认的js engine 进行了扩展（基于core-js）同时对于require以及module ，exports 也是支持的，只是对于exports 是自己定义了变量，同时对于一些内置的模块（k6 开头阅读全文

posted @ 2021-01-05 16:30 荣锋亮阅读(985) 评论(0) 推荐(0) 编辑

spf13/afero 通用文件系统试用

摘要：以前有大概介绍过类似的几个不错的通用文件系统工具包，以下是关于spf13/afero 的试用参考代码 package main import ( "io/ioutil" "log" "github.com/spf13/afero" ) func main() { var appFs = 阅读全文

posted @ 2021-01-05 15:52 荣锋亮阅读(846) 评论(0) 推荐(0) 编辑

goja 支持es6的一种方法

摘要： goja 对于es6 的module 模式是不支持的，但是我们可以通过扩展模式支持基本原理 k6 是利用了goja 的js 能力，但是为了支持es6，使用了babel （standalone）,同时为了方便扩展ls 的能力，使用了core.js 同时利用了js可以直接转换为golang 方法的模式阅读全文

posted @ 2021-01-04 21:54 荣锋亮阅读(1881) 评论(0) 推荐(0) 编辑

salesforce 跨组织数据可见性的方案

摘要：内容来自salesforce 博客解决方案,属于work.com 的一个方案，但是并不是完整的方案，支持利用了heroku 的一些特性参考图参考资料 https://medium.com/salesforce-architects/multi-org-visibility-for-work-co 阅读全文

posted @ 2021-01-04 20:25 荣锋亮阅读(149) 评论(0) 推荐(0) 编辑

golang 的MessagePack编解码包的试用

摘要：主要是对于golang messagepack 包的试用项目代码 go.mod module demoapp go 1.15 require ( github.com/davecgh/go-spew v1.1.1 // indirect github.com/kr/text v0.2.0 阅读全文

posted @ 2021-01-04 20:23 荣锋亮阅读(1615) 评论(0) 推荐(0) 编辑

pmd 开源静态代码分析工具

摘要： pmd 是一个开源的静态代码分析工具，目前主要支持的语言包括 javacript java jsp maven pom plsql xml 说明同时也提供了多种语言的插件（maven，ant，gradle），当然我们基于CPD，也可以支持其他语言（golang，ruby。。。。）参考资料 htt 阅读全文

posted @ 2021-01-04 11:46 荣锋亮阅读(326) 评论(0) 推荐(0) 编辑

pyenv 的virtualenv

摘要： pyenv 包含了virtualenv，我们可以用来方便的管理venv环境，同时的好处是可以进行复用，减少因为项目级别的 venv 造成存储空间的占用参考命令 pyenv virtualenv --help Usage: pyenv virtualenv [-f|--force] [VIRTUAL 阅读全文

posted @ 2021-01-04 09:30 荣锋亮阅读(165) 评论(0) 推荐(0) 编辑

salesforce 技术文章整理

摘要：主要是记录以下来自salesforce 官方blog的技术文章（来自medium），包含了链接以及导出的pdf文件方便查看 Diagnostics and Monitoring Tools for Salesforce — Part 1 https://medium.com/salesforce- 阅读全文

posted @ 2021-01-04 09:29 荣锋亮阅读(220) 评论(0) 推荐(0) 编辑

一些声明式可视化库

摘要：一篇不错的参考介绍文章https://dataquarium.io/intro-to-vega/ 当然如果从声明式定义老说，类似的可视化库还是比较多的参考资料 https://echarts.apache.org/en/index.html https://vega.github.io/vega- 阅读全文

posted @ 2021-01-03 22:31 荣锋亮阅读(139) 评论(0) 推荐(0) 编辑

vega 一个数据可视化语法指南

摘要： vega 提供了基于json 定义数据可视化操作的指南说明，同时也提供了一些参考实现（python，nodejs）同时vega也提供了一些周边工具（editor，query engine），从官方文档看到vega 是一个很不错的指南因为我们目前进行可视化开发缺少通用的指南，而且每中可视化组件都有阅读全文

posted @ 2021-01-03 21:33 荣锋亮阅读(763) 评论(0) 推荐(0) 编辑

python 可视化包streamlit学习

摘要： streamlit是一个快速开发基于python应用的数据app包，开发比较方便,同时官方也提供了一个方便云服务安装 python -m venv venv source venv/bin/activate pip install -i https://mirrors.aliyun.com/py 阅读全文

posted @ 2021-01-03 20:46 荣锋亮阅读(3768) 评论(0) 推荐(0) 编辑

django 多数据源配置

摘要： django 内置了数据的orm 处理以及schema 处理，所以如果需要处理多数据源，那么我们就需要在 migrate以及crud的时候进行处理了，django 提供了方便的多数据源支持处理，migrate 的时候指定依赖的数据库就可以进行migrate的处理了，对于crud，django 支持阅读全文

posted @ 2021-01-03 12:48 荣锋亮阅读(1174) 评论(0) 推荐(0) 编辑

Rules of Micro-Frontends

摘要：参考资料：https://medium.com/swlh/rules-of-micro-frontends-7b96c10dde9 This is an opinionated list of best practices when designing applications that follo 阅读全文

posted @ 2021-01-02 23:27 荣锋亮阅读(82) 评论(0) 推荐(0) 编辑

cube.js 查询格式

摘要： cube.js 提供了自己特有的数据查询模式，还是比较清晰的，包含了维度，度量，时间粒度，以及分段（segments）查询格式格式为 CUBEE_NAME.MEMBER_NAME 比如维度email，查询cube Users 为Users.email 对于时间的查询处理CUBE_NAME.TIM 阅读全文

posted @ 2021-01-02 22:42 荣锋亮阅读(499) 评论(2) 推荐(0) 编辑

Configuring Django Settings: Best Practices

摘要：转自:https://djangostars.com/blog/configuring-django-settings-best-practices/ 一个很不错的实践 This article is intended for engineers who use the Django framewo 阅读全文

posted @ 2021-01-02 18:43 荣锋亮阅读(124) 评论(0) 推荐(0) 编辑

django 创建可重用的app

摘要：重要目的是打包自己的django app 为一个pip 包，实现应用的复用，以下是一个简单的demo 说明对于django project 集成admin 需要自己创建登陆账户的，以下没有说明创建一个简单的django project 命令 django-admin startproject de 阅读全文

posted @ 2021-01-02 18:39 荣锋亮阅读(314) 评论(0) 推荐(0) 编辑

django 静态文件&&模版的处理的一些实践

摘要：静态文件与模版在django 中的处理既有相似的地方又有不同的地方模版是代码关联的，静态文件一般是css，js ，图片等，一般静态资源是需要进行比较好的处理的（量大，而且需要优化处理）静态资源的处理配置参考，注意app 以及project的会有覆盖的效果，这个与template是一样的 ST 阅读全文

posted @ 2021-01-02 15:13 荣锋亮阅读(223) 评论(0) 推荐(0) 编辑

cube.js data Blending

摘要： cube.js 的 data Blending，主要是解决多数据schema 数据集成（数据charts的集成）的问题官方的解决方法还是比较简单的，核心是使用了sql 的union all 同时引用了数据schema 的sql 同时cube.js 也提供了多查询的处理，会自己进行转换处理参考数阅读全文

posted @ 2021-01-01 23:18 荣锋亮阅读(203) 评论(0) 推荐(0) 编辑

cube.js 的rest api

摘要： cube.js 同时提供了强大的rest api 支持，默认请求地址是/cubejs-api ，当然可以通过Cube.js 修改认证授权 cube.js api 的认证授权是基于jwt 的，同时会暴露一个USER_CONTEXT 对象给数据schema 参考请求 curl -H "Authoriz 阅读全文

posted @ 2021-01-01 22:58 荣锋亮阅读(274) 评论(0) 推荐(0) 编辑

cube.js cache 的处理

摘要： cube.js 对于数据的cache 处理是一个很不错的亮点，同时cube.js 支持多级cache，而且支持多种模式的cache in-memory，redus，以及预聚合处理还有就是外部预聚合存储，同时cube.js 也提供了比较完备的cache 刷新策略配置一张参考预聚合处理图当然以前也阅读全文

posted @ 2021-01-01 22:57 荣锋亮阅读(207) 评论(0) 推荐(0) 编辑

cube.js 多租户支持

摘要： cube.js 对于多租户的支持是比较丰富的，提供了db，schema 上的支持，同时提供了灵活的driverFactory，以及dbType 支持支持的配置选项 contextToAppId dbType externalDbType driverFactory repositoryFactor 阅读全文

posted @ 2021-01-01 22:56 荣锋亮阅读(161) 评论(0) 推荐(0) 编辑

导航

公告