荣锋亮 - 博客园

使用gitbase 分析git 仓库代码

摘要： gitbase 是一个基于golang 开发的开源git 仓库sql 接口查询引擎，基于此工具，我们可以方便的分析git 仓库代码的情况而且可以基于源码的分析，还是很强大的安装直接使用编译的二进制文件即可 https://github.com/src-d/gitbase/releases 配置阅读全文

posted @ 2019-05-11 23:53 荣锋亮阅读(482) 评论(0) 推荐(0) 编辑

通过HttpServletRequest重写+filter 添加header

摘要：问题说明需要做的事情比较简单，就是通过filter 重写httpservletrequest ，同时给予request 添加header 主要是通过HttpServletRequestWrapper 进行处理，代码写死了，只是一个简单的演示。自定义HttpServletRequest（实现Htt 阅读全文

posted @ 2019-05-11 23:31 荣锋亮阅读(2316) 评论(0) 推荐(0) 编辑

s3git 使用git 管理云存储

摘要：使用s3git 我们可以方便的基于git协议进行s3存储数据的版本管理，同时也提供了一个方便的golang 包，我们可以集成到我们的应用中，但是有一点，目前已经没有再更新过了,但是设计理论很不错，实际上现在的 ipfs 与这种就是类似的做法，ipfs 更灵活强大。参考资料 https://git 阅读全文

posted @ 2019-05-11 08:14 荣锋亮阅读(647) 评论(0) 推荐(0) 编辑

TimescaleDB1.3 的新特性——Continuous aggregates: faster queries with automatically maintained materialized views

摘要： One characteristic of time-series data workloads is that the dataset will grow very quickly. Without the proper data infrastructure, these large data 阅读全文

posted @ 2019-05-11 07:54 荣锋亮阅读(522) 评论(0) 推荐(0) 编辑

dinoql 使用nodejs 运行的几个问题

摘要： dinoql 是一个很不错的javascript objects 查询处理方案，基于graphql，当前版本有点问题 node 环境运行 ReferenceError: window is not defined 分析，实际上，查看webpack 的构建使用的是umd 方法打包，应该是可以使用的，但阅读全文

posted @ 2019-05-10 13:52 荣锋亮阅读(302) 评论(0) 推荐(0) 编辑

dinoql 试用

摘要： dinoql 前面有过介绍，详细的参考文档即可，这篇主要是简单使用注意目前dinoql 直接通过node 运行会有window 的问题，有好几种解决方法，后边会说明环境准备项目初始化 yarn init -y 添加dinoql依赖 yarn add dinoql 添加工具依赖主要是解决web 阅读全文

posted @ 2019-05-10 11:35 荣锋亮阅读(339) 评论(0) 推荐(0) 编辑

dinoql 使用graphql 语法查询javascript objects

摘要： dinoql 是一个不错的基于graphql 语法查询javascript objects 的工具包，包含以下特性 graphql 语法（很灵活）安全的访问（当keys 不存在的时候，不会抛出运行时错误）别名支持（可以重命名查询的keys）内置了一些resolvers （类似graphql）阅读全文

posted @ 2019-05-10 10:09 荣锋亮阅读(334) 评论(0) 推荐(0) 编辑

使用git_stats 统计分析git 仓库代码&& 集成webhook

摘要：前几天写过一个使用gitstats 统计分析代码的，但是那个因为开发的问题，对于直接和容器集成是有问题的，统计需要进入容器执行命令，对于自动构建的还不是很方便，所以使用了git_stats 项目使用docker-compose 运行，同时使用docker in docker 模式运行,同时集成we 阅读全文

posted @ 2019-05-08 23:18 荣锋亮阅读(808) 评论(0) 推荐(0) 编辑

使用gitstats分析git 仓库代码

摘要： gitstats 是一个很不错的git 代码提交分析工具，可以帮助我们生成图表统计结果工具文档信息 gitstats http://gitstats.sourceforge.net/ 安装使用centos 系统 yum install gitstats 使用 git clone 代码 git c 阅读全文

posted @ 2019-05-07 12:46 荣锋亮阅读(1035) 评论(0) 推荐(0) 编辑

PostGraphile 4.4 发布，支持real time 查询

摘要：在4.4 之前，real time 是通过插件完成处理的，4.4 直接内置了，还是很方便的功能，总算和其他类似graphql 平台看齐了，使用上还是挺方便的。参考资料 https://www.graphile.org/news/postgraphile-version-4-4/#graphql- 阅读全文

posted @ 2019-05-05 08:56 荣锋亮阅读(437) 评论(0) 推荐(0) 编辑

cube.js 学习（十）cube 来自官方的学习网站

摘要：尽管cube.js 包含了一个doc 站点，但是资料不是很全，同时如果查看了cube github 代码中的一些demo的话，发现还是很不错的但是一些实践没有在文档展现出来，还好我们可以从cube 的产品网站找点有意义的东西参考网站 https://statsbot.co/docs 比如一些好的阅读全文

posted @ 2019-05-04 15:01 荣锋亮阅读(361) 评论(0) 推荐(0) 编辑

Optimize Cube.js Performance with Pre-Aggregations

摘要：转自：https://cube.dev/blog/high-performance-data-analytics-with-cubejs-pre-aggregations/ 可以了解 Pre-Aggregations的处理流程 This is an advanced tutorial. If you 阅读全文

posted @ 2019-05-04 09:32 荣锋亮阅读(492) 评论(0) 推荐(0) 编辑

cube.js 学习（九）cube 的pre-aggregation

摘要：我们可以使用cube的pre-aggregation 加速数据的查询，以下为一张来自官方的pre-aggregation 架构参考架构图 pre-aggregation schema preAggregations: { amountByCreated: { type: `rollup`, mea 阅读全文

posted @ 2019-05-03 13:15 荣锋亮阅读(451) 评论(0) 推荐(0) 编辑

cube.js 学习（八）backend部署模式

摘要： cube.js 从设计上就进行了系统上的分层，backend，frontend，backend 是cube.js 的核心对于cube.js backend 的部署官方也提供了好多中方法部署模型 serverless 目前主要是aws的应用场景 heroku 基于heroku 提供的pg 以及应用阅读全文

posted @ 2019-05-03 13:14 荣锋亮阅读(842) 评论(0) 推荐(0) 编辑

cube.js 学习（七）cube.js type 以及format 说明

摘要： cube.js 对于measure以及dimension 提供了丰富的数据类型，基本满足我们常见应用的开发，同时对于不同类型也提供了格式化的操作 measure类型 number 格式 purchasesRatio: { sql: `${purchases} / ${count} * 100.0` 阅读全文

posted @ 2019-05-03 10:59 荣锋亮阅读(507) 评论(0) 推荐(0) 编辑

cube.js 学习（六）cube.js segments 说明

摘要： segments 是你需要查询的数据的子集，实际上filter 也可以做类似的事情，但是，目前这个设计估计是为了更好的数据查询吧，同时在操作界面上我们也可以看出来参考格式 segments: { sfUsers: { sql: `location = 'San Francisco'` } } 参阅读全文

posted @ 2019-05-03 09:40 荣锋亮阅读(303) 评论(0) 推荐(0) 编辑

cube.js 学习（五）cube.js joins 说明

摘要： cube.js 也支持join，参考格式 joins: { TargetCubeName: { relationship: `belongsTo` || `hasMany` || `hasOne`, sql: `SQL ON clause` } } 一个简单demo cube("Authors", 阅读全文

posted @ 2019-05-03 09:39 荣锋亮阅读(320) 评论(0) 推荐(0) 编辑

cube.js 学习（四）cube.js cube 说明

摘要： cube 是cube.js data schema 的核心，里面定义了生成sql 的说明一个比较全的schema 例子 cube(`Users`, { sql: `select * from users`, joins: { Organizations: { relationship: `belo 阅读全文

posted @ 2019-05-03 09:30 荣锋亮阅读(1059) 评论(0) 推荐(0) 编辑

cube.js 学习（三）cube.js data schema

摘要： cube.js的 data schema 类似graphql 的type 定义，但是cube.js 的data schema 更偏向于dsl，其中抽象了进行数据分析应用开发中的东西，自己提炼了measures , dimensions,cube 说明 cube 这个是用来进行实体，或者说是数据库表阅读全文

posted @ 2019-05-03 08:51 荣锋亮阅读(1030) 评论(0) 推荐(0) 编辑

piplinedb 团队加入confluen

摘要：这个消息对于使用pipelinedb 的人来说，可能有点不好，因为官方已经明确说明了，pipelinedb 截止到1.0 版本，将不再维护了，基本就要靠社区了，但是pipelinedb 团队还是比较好的，在文章中也给用户的提了一些迁移建议：使用confluent的ksql 代替pipelined 阅读全文

posted @ 2019-05-02 09:15 荣锋亮阅读(597) 评论(0) 推荐(0) 编辑

cube.js 学习（二）cube.js与 graphql2chartjs的比较

摘要： cube.js 是目前看到从设计以及理念上很不错的数据分析事件，graphql2chartjs 是hasura graphql-engine 团队开发的一个类库基于graphql，以下做一些比较 cube.js 组件更丰富（backend，frontend），graphql2chartjs 就是一阅读全文

posted @ 2019-05-01 22:28 荣锋亮阅读(900) 评论(0) 推荐(0) 编辑

cube.js 学习（一）简单项目创建

摘要： cube.js 是一个很不错的模块化分析框架，基于schema生成sql 同时内置可代码生成，可以快速的搞定 web 分析应用的开发安装cli 工具 npm install -g cubejs-cli 创建简单应用使用cli cubejs create pg-demo -d postgres 准阅读全文

posted @ 2019-05-01 22:13 荣锋亮阅读(2730) 评论(0) 推荐(0) 编辑

cube.js 开源模块化分析框架

摘要： cube.js 是一款很不错的模块化web 应用分析框架。cube.js 的设计主要是面向serverless 服务，但是同时也支持所有rdbms, cube.js不是一个单体应用，包含了以下部分： backend cube.js scheme 类似ORM ，方便数据模型的分析 cube.js q 阅读全文

posted @ 2019-05-01 21:36 荣锋亮阅读(2563) 评论(0) 推荐(0) 编辑

kubefuse 让Kubernetes 资源成为fuse 文件系统

摘要： kubefuse 是基于fuse 开发的文件系统，我们可以像访问文件系统一样访问Kubernetes 资源,使用python开发支持以下特性：可以使用方便的linux tools： ls、 vim 、cat 像文件系统一样查看Kubernetes 资源像文件系统一样访问Kubernetes 资阅读全文

posted @ 2019-05-01 17:01 荣锋亮阅读(824) 评论(0) 推荐(0) 编辑

sshfs 试用

摘要： sshfs 是基于fuse 开发的可以像使用本地系统一样，通过ssh 协议访问远端服务器文件，有好多方便的用途数据同步数据加密访问做为共享数据卷（基于给容器使用）安装 yum install -y fuse-sshfs 支持的参数 sshfs --help usage: sshfs [use 阅读全文

posted @ 2019-05-01 16:46 荣锋亮阅读(1056) 评论(0) 推荐(0) 编辑

几个方便的基于es 的开源文档索引系统

摘要： Apache Tika 比较有名的内容提取工具 FsCrawler 使用java 开发，内部使用了Tika Ambar nodejs，python应用开发，轻量，支持基于docker 的快速部署，同时支持各种文档类型，ocr。。。。参考资料 https://ambar.cloud/blog/201 阅读全文

posted @ 2019-04-30 16:45 荣锋亮阅读(759) 评论(0) 推荐(0) 编辑

使用状态文件+vigil 监控系统状态

摘要： vigil 是一个不错的系统可用性报告系统，具有还不错的ui 界面，同时也有通知配置，以下是一个简单的 demo 使用状态文件，以及http body 匹配的模式进行web 应用状态的监控，只是简单的demo，状态的会写可能是其他任务操作的，这个只是演示一种可行的方法环境准备 docker-co 阅读全文

posted @ 2019-04-30 15:46 荣锋亮阅读(316) 评论(0) 推荐(0) 编辑

zeebe 集成elasticsearch exporter && 添加operate

摘要： zeebe 的operate是一个功能比较强大的管理工具，比simple-monitor 有好多方面上的改进安全，支持用户账户的登陆界面更友好，界面比较符合开团队工作流引擎的界面系统监控更加强大，可以为我们提供比较全的系统指标环境准备还是老样子使用docker-compose 运行 doc 阅读全文

posted @ 2019-04-30 10:50 荣锋亮阅读(1639) 评论(0) 推荐(0) 编辑

Distributed PostgreSQL on a Google Spanner Architecture – Storage Layer

摘要：转自：https://blog.yugabyte.com/distributed-postgresql-on-a-google-spanner-architecture-storage-layer/ In this post, we’ll dive into the architecture of 阅读全文

posted @ 2019-04-30 09:10 荣锋亮阅读(368) 评论(0) 推荐(0) 编辑

Distributed PostgreSQL on a Google Spanner Architecture – Query Layer

摘要：转自：https://blog.yugabyte.com/distributed-postgresql-on-a-google-spanner-architecture-query-layer/ Our previous post dived into the details of the stor 阅读全文

posted @ 2019-04-30 09:08 荣锋亮阅读(521) 评论(0) 推荐(0) 编辑

alicemq 方便的RabbitMQ 可视化工具

摘要：尽管RabbitMQ 自带一个管理插件，但是还不是那么强大，alicemq 是一个方便强大的可视化工具 rabbitmq 环境准备 docker-compose 文件 version: "3" services: mq: image: rabbitmq:3-management ports: - " 阅读全文

posted @ 2019-04-30 08:45 荣锋亮阅读(6293) 评论(0) 推荐(0) 编辑

使用s3fs-fuse 挂载minio s3 对象存储

摘要： minio 是一个aws s3 兼容的对象存储系统，我们可以通过s3fs 进行数据桶的挂载，这样可以做好多方便的事情环境准备使用docker-compose 运行 minio docker-compose 文件 version: "3" services: s3: image: minio/mi 阅读全文

posted @ 2019-04-29 14:14 荣锋亮阅读(9852) 评论(2) 推荐(2) 编辑

使用nginx mirror 制作nexus 的简单ha

摘要：主要是运行两台nexus 机器，通过nexus 的host 以及proxy 以及public 模型，结合nginx 的mirror 将对于host 的get 请求 mirror 到另一台机器proxy nexus 的仓库，变相的cache 需要的仓库代码。参考架构图来自nexus 的一个分享说阅读全文

posted @ 2019-04-28 22:34 荣锋亮阅读(803) 评论(0) 推荐(0) 编辑

nexus 数据库备份任务webhook 通知-另外一种方法

摘要：使用benthos 做为webhook，是一种方法，功能很强大，但是有点复杂，所以换了一个更简单直接的webhook 工具根据请求的数据，只处理关于db exporter 任务部分的消息，然后就是调用shell 执行一些逻辑处理环境处理使用docker-compose 运行 docker-co 阅读全文

posted @ 2019-04-28 19:54 荣锋亮阅读(861) 评论(0) 推荐(0) 编辑

nexus 数据库备份任务webhook 通知

摘要： nexus 的数据库备份是比较重要的，可以方便我们在故障的是时候进行应用恢复。以下使用benthos 组件进行nexus 数据库备份事件的应用通知处理环境准备使用docker-compose 运行 docker-compose.yaml 文件 version: "3" services: ne 阅读全文

posted @ 2019-04-28 15:11 荣锋亮阅读(970) 评论(0) 推荐(0) 编辑

使用dotenv 管理nodejs 应用的环境变量&&docker-compose 运行

摘要：说明dotenv 是一个很方便的符合12 factor 的环境变量管理工具，使用很方便，实际上里面的代码也不是很多测试使用docker 进行环境部署，为了方便分发使用pkg 进行打包，使用alpine制作比较小的容器镜像环境准备 nodejs 项目初始化 mkdirdotenv-app cd d 阅读全文

posted @ 2019-04-28 13:00 荣锋亮阅读(3205) 评论(0) 推荐(0) 编辑

zeebe 集成elasticsearch exporter

摘要： zeebe 目前还在一直的开发中，同时一些变动还是挺大的，比如simple monitor 的以前是不需要配置HazelcastExporter的估计是为了进行集群功能处理，新添加的，以前写的配置基本都没法使用了，所以写了一个新的运行配置说明运行的时候注意版本，我测试的是Zeebe 0.17.0 阅读全文

posted @ 2019-04-27 08:11 荣锋亮阅读(1197) 评论(0) 推荐(0) 编辑

Flagr 配置说明

摘要：说明文档来自官方文档 https://checkr.github.io/flagr/#/flagr_env 完整配置包含了组件的配置参数以及说明，对于学习如何使用Flagr 还是很重要的，包含了数据库配置、jwt 安全配置、Flagr metrics 配置（对应的Recorder）目前是kafa 阅读全文

posted @ 2019-04-26 14:38 荣锋亮阅读(730) 评论(0) 推荐(0) 编辑

Flagr 架构

摘要：来自官方文档 https://checkr.github.io/flagr/#/flagr_overview There are three components in the flagr, Flagr Evaluator, Flagr Manager, and Flagr Metrics. Fla 阅读全文

posted @ 2019-04-26 14:24 荣锋亮阅读(319) 评论(0) 推荐(0) 编辑

flagr 数据库配置

摘要： flagr 是一个很不错的特性开关、a/b 测试服务，默认使用的是sqlite 数据库，但是我们可以通过配置，使用不同的数据库 sqlite、mysql、postrgresql、json_file、json_http 说明测试都是通过docker-compose 运行 sqlite默认配置 sqli 阅读全文

posted @ 2019-04-26 14:10 荣锋亮阅读(523) 评论(0) 推荐(0) 编辑

导航

公告