荣锋亮 - 博客园

timescaledb 集成 madlib

摘要： github 上有人提出了一个问题（2017 很早了），然后搜索timescaledb 的docs 文档，发现有一片介绍的文章，所以尝试运行下备注：环境使用虚拟机安装（没有使用docker madlib 的原因，实际上可以尝试基于timescaledb 的镜像改造）安装madlib 这个可以阅读全文

posted @ 2019-01-21 20:15 荣锋亮阅读(908) 评论(0) 推荐(0) 编辑

madlib centos yum 包安装

摘要：使用centos 测试安装madlib sql 机器学习类库安装步骤添加pg 10 repo yum install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-2. 阅读全文

posted @ 2019-01-21 13:02 荣锋亮阅读(705) 评论(0) 推荐(0) 编辑

Scalable MySQL Cluster with Master-Slave Replication, ProxySQL Load Balancing and Orchestrator

摘要： MySQL is one of the most popular open-source relational databases, used by lots of projects around the world including incredibly large-scale ones lik 阅读全文

posted @ 2019-01-21 10:34 荣锋亮阅读(555) 评论(0) 推荐(0) 编辑

mino 路径格式的bucket 数据访问

摘要：实际上这个功能很简单，如果官方不支持，我们可以通过基于nginx 的url rewrite 也可以实现格式说明如果配置了domain minio 会将 http://mydomain.com/bucket/object 的格式请求，转换为 (.+).mydomain.com 格式的，还是很方便的阅读全文

posted @ 2019-01-20 09:40 荣锋亮阅读(2044) 评论(0) 推荐(0) 编辑

minio 对于压缩的处理

摘要：我们可以简单的配置就可以让minio 支持数据压缩了，这个对于减少带宽的请求，以及web 端的优化很有意义配置说明配置文件 "compress": { "enabled": true, "extensions": [".txt",".log",".csv", ".json"], "mime-ty 阅读全文

posted @ 2019-01-20 09:38 荣锋亮阅读(6028) 评论(2) 推荐(0) 编辑

mino federation 功能

摘要： mino federation 可以让我们进行 bucket的查找，实现更灵活的分布式控制其中依赖了几个组件 coredns etcd 参考架构图说明官方也提供了一个简单的部署的demo，总的来说这个功能还是很方便的，我们可以用来实现一个强大，灵活的s3 分布式存储参考资料 https:// 阅读全文

posted @ 2019-01-20 09:15 荣锋亮阅读(849) 评论(0) 推荐(0) 编辑

Full Schema Stitching with Apollo Server

摘要：转自： https://tomasalabes.me/blog/nodejs/graphql/apollo/2018/09/18/schema-stitiching-apollo.html Full Schema Stitching with Apollo Server In this post w 阅读全文

posted @ 2019-01-19 20:28 荣锋亮阅读(387) 评论(0) 推荐(0) 编辑

GraphQL Gateway Architectures

摘要：转自： https://tomasalabes.me/blog/graphql/node/microservices/2018/08/11/graphql-architectures.html GraphQL Gateway Architectures These are the approache 阅读全文

posted @ 2019-01-19 20:24 荣锋亮阅读(477) 评论(0) 推荐(0) 编辑

Modularizing your graphQL schemas

摘要：转自： https://tomasalabes.me/blog/nodejs/graphql/2018/07/11/modularizing-graphql.html Modularizing your graphQL schemas Working in a kinda big graphql s 阅读全文

posted @ 2019-01-19 20:21 荣锋亮阅读(389) 评论(0) 推荐(0) 编辑

gearman openresty 集成试用

摘要：很简单使用了一个openresty 的lua 模块环境准备 docker-compose 文件详细配置可以参考 https://github.com/rongfengliang/gearmangolang-docker version: "3" services: demo: image: ar 阅读全文

posted @ 2019-01-18 23:44 荣锋亮阅读(391) 评论(0) 推荐(0) 编辑

madlib 集成 hasura graphql-engine 试用

摘要： madlib 可以让我们直接在sql 中进行机器学习，集成了强大的sql 能力，以及分析能力，后边会尝试集成graphql engine ，让功能更强大 docker 镜像准备使用了一个别人的写好的，也可以参考官方提供的,就是镜像包有点大 docker-compose 文件 version: ' 阅读全文

posted @ 2019-01-18 23:22 荣锋亮阅读(624) 评论(0) 推荐(0) 编辑

gearman kubernetes 运行

摘要：备注：使用的是golang 版本的实现，同时官方也提供了一个k8s 的helm 部署charts，我没有使用这个helm，而是通过kompose 这个工具直接转换的 docker-compose 文件文件名为：docker-compose-no-volumes.yaml version: "3 阅读全文

posted @ 2019-01-18 13:48 荣锋亮阅读(453) 评论(0) 推荐(0) 编辑

gearman 简单试用

摘要：服务启动使用yum 的安装包安装server yum install -y gearmand yum install -y gearmand yum install -y gearmand yum install -y gearmand yum install -y gearmand yum i 阅读全文

posted @ 2019-01-18 10:40 荣锋亮阅读(566) 评论(0) 推荐(0) 编辑

golang 版本 gearman 试用

摘要： g2 是golang 版的gearman 实现，包含了server （支持leveldb，以及metrics）、client 代码、worker 代码使用上还是很方便的，同时部署也比较简单，结合docker 我们可以实现快速的部署使用go mod 进行包管理 docker-compose文件 v 阅读全文

posted @ 2019-01-17 22:29 荣锋亮阅读(1110) 评论(0) 推荐(0) 编辑

jenkins 使用smtp2http 邮件服务，扩展灵活的构建通知功能

摘要： smtp2http 是一个很方便的可以将smtp 转换为http 服务的工具，同时也支持扩展的开发，我们可以使用此工具扩展灵活的ci、cd 生命周期管理，而不是简单的邮件处理备注：使用docker-compose 运行环境准备 docker-compose 文件注意为了方便使用了一个web 阅读全文

posted @ 2019-01-17 18:54 荣锋亮阅读(604) 评论(0) 推荐(0) 编辑

nuxt docker 运行

摘要： nuxt 是vue 版的next ，实现的功能还是很方便的，对于需要开发性能要求比较高的web app 是一个很不错的选择备注：项目很简单，使用docker && docker-compose 运行，同时对于静态页面的处理使用了 docker 的多阶段处理，通过nginx 提供服务，服务端的运行阅读全文

posted @ 2019-01-17 15:04 荣锋亮阅读(2757) 评论(0) 推荐(0) 编辑

src-d engine 强大的git 历史分析工具

摘要： src-d engine 包含了Babelfish ，同时可以看作是Babelfish 的升级版本，我们可以使用sql 进行代码分析备注：注意运行的时候需要容器支持使用安装docker 参考相关文档，或者直接安装docker for desktop 版本的参考相关文档，或者直接安装dock 阅读全文

posted @ 2019-01-15 21:27 荣锋亮阅读(677) 评论(0) 推荐(1) 编辑

Babelfish 基本试用

摘要：测试使用docker 部署 docker-compose文件注意网络模型选择的host,同时配置了opentracing 服务 version: "3" services: bblfsh: image: bblfsh/bblfshd privileged: true environment: - 阅读全文

posted @ 2019-01-15 20:21 荣锋亮阅读(1220) 评论(0) 推荐(0) 编辑

Babelfish 开源通用代码解析服务

摘要： Babelfish 是一个开源的代码解析服务参考架构支持的语言 bash go java javascript php ruby c++ typescript 功能我们可以使用此工具，进行大规模的代码分析，对于做ci/cd （devops）很方便运行最简单的方式是使用docker 运行阅读全文

posted @ 2019-01-15 15:04 荣锋亮阅读(492) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 源码解析（四）macro 的执行

摘要： macro 说明 macro 是sqler 的核心，当前的处理流程为授权处理，数据校验，依赖执行（include），聚合处理，数据转换处理，sql 执行以及sql 参数绑定授权处理这个是通过golang 的js 包处理的，通过将golang 的http 请求暴露为js 的fetch 方法，放在阅读全文

posted @ 2019-01-14 19:09 荣锋亮阅读(562) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 源码解析（三） rest协议

摘要： rest 服务说明 rest 协议主要是将配置文件中的宏暴露为rest 接口，使用了labstack/echo web 框架，同时基于context 模型进行宏管理对象的共享，同时进行了一些中间件的注册 cors RemoveTrailingSlash gzip Recover rest 启动中阅读全文

posted @ 2019-01-14 17:38 荣锋亮阅读(689) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 源码解析（二） resp 协议

摘要： resp 协议主要是方便使用redis 客户端进行连接，resp 主要是依赖 tidwall/redcon golang redis 协议包 resp 服务说明 server_resp.go 文件，干的事情比较简单，就是redis command 的支持，包含了几个内置的 ping select h 阅读全文

posted @ 2019-01-14 17:24 荣锋亮阅读(512) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 源码解析（一）应用的启动入口

摘要： sqler sql 转rest api 的源码还是比较简单的，没有比较复杂的设计，大部分都是基于开源模块实现的。说明：当前的版本为2.0,代码使用go mod 进行包管理，如果本地运行注意golang 版本，我使用docker 运行，参考 https://github.com/rongfen 阅读全文

posted @ 2019-01-14 16:44 荣锋亮阅读(596) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 2.0 试用

摘要： sqler 的迭代还是很快的，已经2.0 了，2.0 有好多新功能的添加，同时也有好多不兼容的修改说明：测试使用docker-compose，同时我已经push 了docker 镜像 dalongrong/sqler 发布说明添加 aggregate 移除 authorizers hooks 阅读全文

posted @ 2019-01-14 10:47 荣锋亮阅读(724) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 数据聚合操作

摘要： sqler 2.0 提供了一个新的指令aggregate，注意这个和sql 的聚合函数不是一个概念，这个只是为了方便api数据的拼接参考格式 databases { exec = "SHOW DATABASES" transformer = <<JS // there is a global 阅读全文

posted @ 2019-01-14 10:10 荣锋亮阅读(893) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 数据校验的处理

摘要：早期版本（2.0 之前）使用rules 进行数据校验处理，2.0 之后进行了修改使用 validators，这样更加明确参考格式 addpost { // if any rule returns false, // SQLer will return 422 code, with invalid 阅读全文

posted @ 2019-01-14 10:08 荣锋亮阅读(259) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 防止sql 注入

摘要： sqler 对于sql Sanitization 的处理，我们可以使用bind 指令说明：这个是2.0 的功能，注意版本的使用参考格式 addpost { // $input is a global variable holds all request inputs, // including 阅读全文

posted @ 2019-01-14 10:04 荣锋亮阅读(533) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 授权处理

摘要：我们可以使用内置的authorizer 以及js 脚本，方便的进行api 接口的授权处理说明：这个是2.0 的功能，注意版本的使用参考格式 addpost { authorizer = <<JS (function(){ // $input is a global variable holds 阅读全文

posted @ 2019-01-14 09:55 荣锋亮阅读(352) 评论(0) 推荐(0) 编辑

goreplay 输出流量捕获数据到 elasticsearch

摘要： goreplay 是一个很不错的流量拷贝，复制工具，小巧，支持一些扩展，当然也提供了企业版，企业版功能更强大，支持二进制协议的分析。为了方便数据的存储，我们可以使用es 进行存储环境准备 docker-compose version: "3" services: nginx: build: 阅读全文

posted @ 2019-01-13 12:39 荣锋亮阅读(1915) 评论(0) 推荐(0) 编辑

goreplay 镜像nginx web app流量

摘要： goreplay 是一个很不错的流量拷贝，复制工具，小巧，支持一些扩展，当然也提供了企业版，企业版功能更强大，支持二进制协议的分析备注：演示使用docker-compose 运行，测试镜像流量到其他的两个web app （openresty）环境准备 docker-compose 文件 ve 阅读全文

posted @ 2019-01-13 11:06 荣锋亮阅读(1162) 评论(0) 推荐(0) 编辑

tile38 server 密码保护

摘要：默认tile38 是没有密码保护的，我们可以通过配置指定密码,类似redis 的，但是redis 的一般我们是配置在配置文件中的环境准备 docker-compose 文件 version: "3" services: app: image: tile38/tile38 ports: - "98 阅读全文

posted @ 2019-01-12 20:58 荣锋亮阅读(598) 评论(0) 推荐(0) 编辑

tile38 roaming-geofences 试用

摘要： tile38 支持动态实时的移动对象的数据监控环境准备 docker-compose 文件 version: "3" services: app: image: tile38/tile38 ports: - "9851:9851" benthos: image: jeffail/benthos v 阅读全文

posted @ 2019-01-12 20:45 荣锋亮阅读(608) 评论(0) 推荐(0) 编辑

tile38 复制配置

摘要：基于复制我们可以保证tile38 server 的ha 环境准备 docker-compose 文件说明里面多了一个webhook 的服务，可以不用管 version: "3" services: app: image: tile38/tile38 ports: - "9851:9851" app 阅读全文

posted @ 2019-01-12 11:25 荣锋亮阅读(651) 评论(0) 推荐(0) 编辑

The Guardian’s Migration from MongoDB to PostgreSQL on Amazon RDS

摘要：转载一片mongodb 迁移pg 数据库的文章原文：https://www.infoq.com/news/2019/01/guardian-mongodb-postgresql The Guardian migrated their CMS's datastore in 2018 from a s 阅读全文

posted @ 2019-01-12 11:11 荣锋亮阅读(242) 评论(0) 推荐(0) 编辑

tile38 一款开源的geo 数据库

摘要： tile38 是基于golang 编写的geo 数据库，支持地理空间索引、实时地理围栏，同时也支持leader-flower 的部署模型备注：下边测试一个简单的地理围栏功能环境准备 docker-compose 文件包含了一个简单的webhook 工具 version: "3" servic 阅读全文

posted @ 2019-01-12 11:08 荣锋亮阅读(2747) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 的docker 镜像构建（续）使用源码编译

摘要： sqler 在社区的响应还是很不错的，已经添加了好多数据库的连接，就在早上项目的包管理还没有写明确，下午就已经有go mod 构建的支持了，同时也调整下docker 镜像的构建，直接使用git clone + go mod 备注： go mod 是新的包管理方案，需要新版本的golang，使用容器阅读全文

posted @ 2019-01-11 19:07 荣锋亮阅读(338) 评论(0) 推荐(0) 编辑

sqler sql 转rest api javascript 试用

摘要： sqler 内嵌了一个js 引擎的实现（基于goja,当我们配置了exec的配置之后调用宏（redis 接口）或者rest api 的时候会有一个全局变量$result ，保存了执行的结果，我们可以通过js 操作数据对象，比如进行数据改写，进行一些额外的数据控制。同时默认的demo 配置的da 阅读全文

posted @ 2019-01-11 11:39 荣锋亮阅读(487) 评论(0) 推荐(0) 编辑

sqler sql 转rest api redis 接口使用

摘要： sqler 支持redis 协议，我们可以用过redis client 连接sqler，他会将宏住转换为redis command 实现上看源码我们发现是基于一个开源的redis 协议的golang 实现，同时sqler 内置了一些方便的command ： list、 info、 echo、sel 阅读全文

posted @ 2019-01-11 09:35 荣锋亮阅读(805) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 的docker image

摘要：最新sqler 又发布了一个版本，同时官方文档也更新，对于数据库的连接有了详细的说明 Dockerfile 为了方便以及减少大小，使用多阶段构建,同时都通过环境变量运行 FROM alpine:latest as build ENV VERSION=v1.6 WORKDIR /app RUN apk 阅读全文

posted @ 2019-01-11 08:39 荣锋亮阅读(308) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 的工具试用

摘要： sqler 从开源很快就获取了1k的star，使用起来很方便，而且也很灵活，支持的数据库也比较多。支持的功能无需依赖，可独立使用；支持多种数据可类型，包括：SQL Server, MYSQL, SQLITE, PostgreSQL, Cockroachdb 等；内置 RESTful 服务器；阅读全文

posted @ 2019-01-10 22:02 荣锋亮阅读(2796) 评论(0) 推荐(0) 编辑

导航

公告