荣锋亮 - 博客园

cube.js 学习（九）cube 的pre-aggregation

摘要：我们可以使用cube的pre-aggregation 加速数据的查询，以下为一张来自官方的pre-aggregation 架构参考架构图 pre-aggregation schema preAggregations: { amountByCreated: { type: `rollup`, mea 阅读全文

posted @ 2019-05-03 13:15 荣锋亮阅读(457) 评论(0) 推荐(0) 编辑

cube.js 学习（八）backend部署模式

摘要： cube.js 从设计上就进行了系统上的分层，backend，frontend，backend 是cube.js 的核心对于cube.js backend 的部署官方也提供了好多中方法部署模型 serverless 目前主要是aws的应用场景 heroku 基于heroku 提供的pg 以及应用阅读全文

posted @ 2019-05-03 13:14 荣锋亮阅读(855) 评论(0) 推荐(0) 编辑

cube.js 学习（七）cube.js type 以及format 说明

摘要： cube.js 对于measure以及dimension 提供了丰富的数据类型，基本满足我们常见应用的开发，同时对于不同类型也提供了格式化的操作 measure类型 number 格式 purchasesRatio: { sql: `${purchases} / ${count} * 100.0` 阅读全文

posted @ 2019-05-03 10:59 荣锋亮阅读(517) 评论(0) 推荐(0) 编辑

cube.js 学习（六）cube.js segments 说明

摘要： segments 是你需要查询的数据的子集，实际上filter 也可以做类似的事情，但是，目前这个设计估计是为了更好的数据查询吧，同时在操作界面上我们也可以看出来参考格式 segments: { sfUsers: { sql: `location = 'San Francisco'` } } 参阅读全文

posted @ 2019-05-03 09:40 荣锋亮阅读(305) 评论(0) 推荐(0) 编辑

cube.js 学习（五）cube.js joins 说明

摘要： cube.js 也支持join，参考格式 joins: { TargetCubeName: { relationship: `belongsTo` || `hasMany` || `hasOne`, sql: `SQL ON clause` } } 一个简单demo cube("Authors", 阅读全文

posted @ 2019-05-03 09:39 荣锋亮阅读(323) 评论(0) 推荐(0) 编辑

cube.js 学习（四）cube.js cube 说明

摘要： cube 是cube.js data schema 的核心，里面定义了生成sql 的说明一个比较全的schema 例子 cube(`Users`, { sql: `select * from users`, joins: { Organizations: { relationship: `belo 阅读全文

posted @ 2019-05-03 09:30 荣锋亮阅读(1073) 评论(0) 推荐(0) 编辑

cube.js 学习（三）cube.js data schema

摘要： cube.js的 data schema 类似graphql 的type 定义，但是cube.js 的data schema 更偏向于dsl，其中抽象了进行数据分析应用开发中的东西，自己提炼了measures , dimensions,cube 说明 cube 这个是用来进行实体，或者说是数据库表阅读全文

posted @ 2019-05-03 08:51 荣锋亮阅读(1042) 评论(0) 推荐(0) 编辑

piplinedb 团队加入confluen

摘要：这个消息对于使用pipelinedb 的人来说，可能有点不好，因为官方已经明确说明了，pipelinedb 截止到1.0 版本，将不再维护了，基本就要靠社区了，但是pipelinedb 团队还是比较好的，在文章中也给用户的提了一些迁移建议：使用confluent的ksql 代替pipelined 阅读全文

posted @ 2019-05-02 09:15 荣锋亮阅读(601) 评论(0) 推荐(0) 编辑

cube.js 学习（二）cube.js与 graphql2chartjs的比较

摘要： cube.js 是目前看到从设计以及理念上很不错的数据分析事件，graphql2chartjs 是hasura graphql-engine 团队开发的一个类库基于graphql，以下做一些比较 cube.js 组件更丰富（backend，frontend），graphql2chartjs 就是一阅读全文

posted @ 2019-05-01 22:28 荣锋亮阅读(909) 评论(0) 推荐(0) 编辑

cube.js 学习（一）简单项目创建

摘要： cube.js 是一个很不错的模块化分析框架，基于schema生成sql 同时内置可代码生成，可以快速的搞定 web 分析应用的开发安装cli 工具 npm install -g cubejs-cli 创建简单应用使用cli cubejs create pg-demo -d postgres 准阅读全文

posted @ 2019-05-01 22:13 荣锋亮阅读(2759) 评论(0) 推荐(0) 编辑

cube.js 开源模块化分析框架

摘要： cube.js 是一款很不错的模块化web 应用分析框架。cube.js 的设计主要是面向serverless 服务，但是同时也支持所有rdbms, cube.js不是一个单体应用，包含了以下部分： backend cube.js scheme 类似ORM ，方便数据模型的分析 cube.js q 阅读全文

posted @ 2019-05-01 21:36 荣锋亮阅读(2577) 评论(0) 推荐(0) 编辑

kubefuse 让Kubernetes 资源成为fuse 文件系统

摘要： kubefuse 是基于fuse 开发的文件系统，我们可以像访问文件系统一样访问Kubernetes 资源,使用python开发支持以下特性：可以使用方便的linux tools： ls、 vim 、cat 像文件系统一样查看Kubernetes 资源像文件系统一样访问Kubernetes 资阅读全文

posted @ 2019-05-01 17:01 荣锋亮阅读(834) 评论(0) 推荐(0) 编辑

sshfs 试用

摘要： sshfs 是基于fuse 开发的可以像使用本地系统一样，通过ssh 协议访问远端服务器文件，有好多方便的用途数据同步数据加密访问做为共享数据卷（基于给容器使用）安装 yum install -y fuse-sshfs 支持的参数 sshfs --help usage: sshfs [use 阅读全文

posted @ 2019-05-01 16:46 荣锋亮阅读(1068) 评论(0) 推荐(0) 编辑

几个方便的基于es 的开源文档索引系统

摘要： Apache Tika 比较有名的内容提取工具 FsCrawler 使用java 开发，内部使用了Tika Ambar nodejs，python应用开发，轻量，支持基于docker 的快速部署，同时支持各种文档类型，ocr。。。。参考资料 https://ambar.cloud/blog/201 阅读全文

posted @ 2019-04-30 16:45 荣锋亮阅读(765) 评论(0) 推荐(0) 编辑

使用状态文件+vigil 监控系统状态

摘要： vigil 是一个不错的系统可用性报告系统，具有还不错的ui 界面，同时也有通知配置，以下是一个简单的 demo 使用状态文件，以及http body 匹配的模式进行web 应用状态的监控，只是简单的demo，状态的会写可能是其他任务操作的，这个只是演示一种可行的方法环境准备 docker-co 阅读全文

posted @ 2019-04-30 15:46 荣锋亮阅读(320) 评论(0) 推荐(0) 编辑

zeebe 集成elasticsearch exporter && 添加operate

摘要： zeebe 的operate是一个功能比较强大的管理工具，比simple-monitor 有好多方面上的改进安全，支持用户账户的登陆界面更友好，界面比较符合开团队工作流引擎的界面系统监控更加强大，可以为我们提供比较全的系统指标环境准备还是老样子使用docker-compose 运行 doc 阅读全文

posted @ 2019-04-30 10:50 荣锋亮阅读(1658) 评论(0) 推荐(0) 编辑

Distributed PostgreSQL on a Google Spanner Architecture – Storage Layer

摘要：转自：https://blog.yugabyte.com/distributed-postgresql-on-a-google-spanner-architecture-storage-layer/ In this post, we’ll dive into the architecture of 阅读全文

posted @ 2019-04-30 09:10 荣锋亮阅读(377) 评论(0) 推荐(0) 编辑

Distributed PostgreSQL on a Google Spanner Architecture – Query Layer

摘要：转自：https://blog.yugabyte.com/distributed-postgresql-on-a-google-spanner-architecture-query-layer/ Our previous post dived into the details of the stor 阅读全文

posted @ 2019-04-30 09:08 荣锋亮阅读(526) 评论(0) 推荐(0) 编辑

alicemq 方便的RabbitMQ 可视化工具

摘要：尽管RabbitMQ 自带一个管理插件，但是还不是那么强大，alicemq 是一个方便强大的可视化工具 rabbitmq 环境准备 docker-compose 文件 version: "3" services: mq: image: rabbitmq:3-management ports: - " 阅读全文

posted @ 2019-04-30 08:45 荣锋亮阅读(6389) 评论(0) 推荐(0) 编辑

使用s3fs-fuse 挂载minio s3 对象存储

摘要： minio 是一个aws s3 兼容的对象存储系统，我们可以通过s3fs 进行数据桶的挂载，这样可以做好多方便的事情环境准备使用docker-compose 运行 minio docker-compose 文件 version: "3" services: s3: image: minio/mi 阅读全文

posted @ 2019-04-29 14:14 荣锋亮阅读(10055) 评论(2) 推荐(2) 编辑

使用nginx mirror 制作nexus 的简单ha

摘要：主要是运行两台nexus 机器，通过nexus 的host 以及proxy 以及public 模型，结合nginx 的mirror 将对于host 的get 请求 mirror 到另一台机器proxy nexus 的仓库，变相的cache 需要的仓库代码。参考架构图来自nexus 的一个分享说阅读全文

posted @ 2019-04-28 22:34 荣锋亮阅读(810) 评论(0) 推荐(0) 编辑

nexus 数据库备份任务webhook 通知-另外一种方法

摘要：使用benthos 做为webhook，是一种方法，功能很强大，但是有点复杂，所以换了一个更简单直接的webhook 工具根据请求的数据，只处理关于db exporter 任务部分的消息，然后就是调用shell 执行一些逻辑处理环境处理使用docker-compose 运行 docker-co 阅读全文

posted @ 2019-04-28 19:54 荣锋亮阅读(879) 评论(0) 推荐(0) 编辑

nexus 数据库备份任务webhook 通知

摘要： nexus 的数据库备份是比较重要的，可以方便我们在故障的是时候进行应用恢复。以下使用benthos 组件进行nexus 数据库备份事件的应用通知处理环境准备使用docker-compose 运行 docker-compose.yaml 文件 version: "3" services: ne 阅读全文

posted @ 2019-04-28 15:11 荣锋亮阅读(983) 评论(0) 推荐(0) 编辑

使用dotenv 管理nodejs 应用的环境变量&&docker-compose 运行

摘要：说明dotenv 是一个很方便的符合12 factor 的环境变量管理工具，使用很方便，实际上里面的代码也不是很多测试使用docker 进行环境部署，为了方便分发使用pkg 进行打包，使用alpine制作比较小的容器镜像环境准备 nodejs 项目初始化 mkdirdotenv-app cd d 阅读全文

posted @ 2019-04-28 13:00 荣锋亮阅读(3215) 评论(0) 推荐(0) 编辑

zeebe 集成elasticsearch exporter

摘要： zeebe 目前还在一直的开发中，同时一些变动还是挺大的，比如simple monitor 的以前是不需要配置HazelcastExporter的估计是为了进行集群功能处理，新添加的，以前写的配置基本都没法使用了，所以写了一个新的运行配置说明运行的时候注意版本，我测试的是Zeebe 0.17.0 阅读全文

posted @ 2019-04-27 08:11 荣锋亮阅读(1210) 评论(0) 推荐(0) 编辑

Flagr 配置说明

摘要：说明文档来自官方文档 https://checkr.github.io/flagr/#/flagr_env 完整配置包含了组件的配置参数以及说明，对于学习如何使用Flagr 还是很重要的，包含了数据库配置、jwt 安全配置、Flagr metrics 配置（对应的Recorder）目前是kafa 阅读全文

posted @ 2019-04-26 14:38 荣锋亮阅读(735) 评论(0) 推荐(0) 编辑

Flagr 架构

摘要：来自官方文档 https://checkr.github.io/flagr/#/flagr_overview There are three components in the flagr, Flagr Evaluator, Flagr Manager, and Flagr Metrics. Fla 阅读全文

posted @ 2019-04-26 14:24 荣锋亮阅读(322) 评论(0) 推荐(0) 编辑

flagr 数据库配置

摘要： flagr 是一个很不错的特性开关、a/b 测试服务，默认使用的是sqlite 数据库，但是我们可以通过配置，使用不同的数据库 sqlite、mysql、postrgresql、json_file、json_http 说明测试都是通过docker-compose 运行 sqlite默认配置 sqli 阅读全文

posted @ 2019-04-26 14:10 荣锋亮阅读(525) 评论(0) 推荐(0) 编辑

uclibc,eglibc,glibc,Musl-libc之间的区别和联系

摘要：转自：https://www.sohu.com/a/164202127_424963 1.Glibc glibc = GNU C Library 是GNU项（GNU Project）目，所实现的 C语言标准库（C standard library）。目前，常见的桌面和服务器中的GNU/Linux类阅读全文

posted @ 2019-04-26 13:01 荣锋亮阅读(1971) 评论(0) 推荐(0) 编辑

flagr a/b 测试特性开关&&微服务动态配置工具

摘要： flagr a/b 测试特性开关&&微服务动态配置工具简单运行 docker docker run -it -p 18000:18000 checkr/flagr 运行界面说明参考连接有一般关于特性开关开发的书，挺不错。参考文档 https://checkr.github.io/flagr/ 阅读全文

posted @ 2019-04-26 12:37 荣锋亮阅读(545) 评论(0) 推荐(0) 编辑

stolon cloud native postgresql 高可用方案

摘要： stolon方案与patroni 类似，是一个新的pg ha 方案包含的组件 keeper：它管理一个PostgreSQL实例，汇聚到由领导者sentinel计算的clusterview。 sentinel：它发现并监视守护者和代理并计算最佳的集群视图。 proxy：客户端的接入点。它强制连接到正阅读全文

posted @ 2019-04-26 10:42 荣锋亮阅读(1239) 评论(0) 推荐(0) 编辑

Hot Chocolate 一个.net 平台的graphql 框架

摘要：在看昨天发布的新版技术雷达中，看到了一个.net 的graphql 框架Hot Chocolate 还是比较激动，尽管好久不搞 .net 了，但是这个框架还是值得看看的，后边学习下参考资料 https://hotchocolate.io/docs/introduction.html 阅读全文

posted @ 2019-04-25 20:10 荣锋亮阅读(708) 评论(0) 推荐(0) 编辑

使用 opendistro for elasticsearch 做为graylog的后端存储

摘要： graylog 是一个很不错的日志分析、收集、报警平台，包好了丰富的插件，同时内部的架构设计很不错 input 组件很多，使用stream、pipeline可以方便的进行数据处理，可以同时3.0 对于sidcar 的支持更好了，内部强大的 dashboard 以及查询能力，可以方便的进行常见系统的性阅读全文

posted @ 2019-04-25 19:20 荣锋亮阅读(955) 评论(0) 推荐(0) 编辑

opendistro 试用

摘要：以前转载过一篇别人的关于opendistro的文章，还好使用docker-compose 运行，很方便，所以自己也跑下环境准备 docker-compose 文件 version: '3' services: odfe-node1: image: amazon/opendistro-for-ela 阅读全文

posted @ 2019-04-24 22:39 荣锋亮阅读(3018) 评论(0) 推荐(0) 编辑

Open Distro for Elasticsearch – How Different Is It?

摘要：转自：https://logz.io/blog/open-distro-for-elasticsearch Last month, AWS announced an initiative called Open Distro for Elasticsearch. Since then, there 阅读全文

posted @ 2019-04-24 21:13 荣锋亮阅读(1222) 评论(0) 推荐(0) 编辑

edgedb 内部pg 数据存储的探索 (五) 运行进程列表信息

摘要：做为一个简单的记录，方便后期分析学习当前包含了一个timescale 的extension 可以不用关注信息 ps -ef |grep edgedb edgedb 10559 24858 0 4月23 ? 00:00:00 /usr/lib64/edgedb-1-alpha1/bin/pytho 阅读全文

posted @ 2019-04-24 16:47 荣锋亮阅读(224) 评论(0) 推荐(0) 编辑

How To Add Custom Build Steps and Commands To setup.py

摘要：转自：https://jichu4n.com/posts/how-to-add-custom-build-steps-and-commands-to-setuppy/ A setup.py script using distutils / setuptools is the standard way 阅读全文

posted @ 2019-04-24 08:30 荣锋亮阅读(704) 评论(0) 推荐(0) 编辑

edgedb 集成timescaledb

摘要： timescaledb 是一个强大的pg 扩展，可以让我们的pg 数据库支持时序数据库的能力，以下测试下与edgedb 集成预备因为edgedb 当前是基于pg11 开发的，所以需要使用pg11 的timescale 扩展环境准备 edgedb 安装这个比较简单，参考 https://edg 阅读全文

posted @ 2019-04-23 19:17 荣锋亮阅读(434) 评论(0) 推荐(0) 编辑

edgedb 内部pg 数据存储的探索 (四) 源码编译

摘要： edgedb 基于python开发，同时源码重包含了好多子项目,以下进行简单的源码编译 clone 代码需要递归处理，加上recursive，比较慢稍等 git clone --recursive https://github.com/edgedb/edgedb.git 效果正克隆到 'edge 阅读全文

posted @ 2019-04-23 17:11 荣锋亮阅读(343) 评论(0) 推荐(0) 编辑

edgedb 内部pg 数据存储的探索 (二) 创建数据库命令说明

摘要：前面已经创建好了一个简单可以访问pg 的edgedb 环境，现在测试几个数据库操作命令在pg 的存储创建数据库连接环境注意账户是按照上次创建的环境配置注意账户是按照上次创建的环境配置 edgedb -u edgedb 创建数据库 create database demo; pg 后端的效果，阅读全文

posted @ 2019-04-23 14:49 荣锋亮阅读(915) 评论(0) 推荐(0) 编辑

导航

公告