08 2018 档案

openresty 使用cuid 类库生成短链接id
摘要:cuid 是一个不错的id 生成算发,类似的有shortid 、hashid 演示使用lua 包集成openresty 做测试 使用docker-compose 运行 dockerfile FROM openresty/openresty:alpine-fat RUN apk add --no-ca 阅读全文

posted @ 2018-08-31 22:49 荣锋亮 阅读(534) 评论(0) 推荐(0) 编辑

比jsonpath 更方便的json 数据查询JMESPath 使用
摘要:类似xml 的xpath json 有jsonpath 都是为了方便进行数据查询,但是jsonpath 的功能 并不是很强大,如果为了方便查询可以使用jmespath。 以下为简单使用: 查询格式 search(<jmespath expr>, <JSON document>) -> <return 阅读全文

posted @ 2018-08-31 21:43 荣锋亮 阅读(1106) 评论(0) 推荐(0) 编辑

streamsets 集成 rabbitmq 以及benthos stream 处理框架
摘要:benthos 是一个stream 处理框架,streamsets 也是,但是两者可以通过不同的工具进行集成起来 一般我们可以使用http 服务,消息中间件(kafka、rabbitmq 。。。) 使用docker-compose 运行 服务配置 docker-compose 文件 version: 阅读全文

posted @ 2018-08-31 15:37 荣锋亮 阅读(1914) 评论(0) 推荐(0) 编辑

All the Apache Streaming Projects: An Exploratory Guide
摘要:The speed at which data is generated, consumed, processed, and analyzed is increasing at an unbelievably rapid pace. Social media, the Internet of Thi 阅读全文

posted @ 2018-08-30 16:28 荣锋亮 阅读(473) 评论(0) 推荐(0) 编辑

apache spark kubernets 部署试用
摘要:spark 是一个不错的平台,支持rdd 分析stream 机器学习。。。 以下为使用kubernetes 部署的说明,以及注意的地方 具体的容器镜像使用别人已经构建好的 deploy yaml 文件 deploy-k8s.yaml apiVersion: extensions/v1beta1 ki 阅读全文

posted @ 2018-08-30 15:12 荣锋亮 阅读(882) 评论(1) 推荐(0) 编辑

apache flink kubernetes 运行试用
摘要:类似docker-compose 运行模式,使用的是deploy 的模式 deploy yaml 文件 deploy-k8s-yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: jobmanager namespa 阅读全文

posted @ 2018-08-29 13:43 荣锋亮 阅读(2745) 评论(0) 推荐(0) 编辑

apache flink docker-compose 运行试用
摘要:apache 是一个流处理框架,官方提供了docker 镜像,同时也提供了基于docker-compose 运行的说明 docker-compose file version: "2.1" services: jobmanager: image: flink expose: - "6123" por 阅读全文

posted @ 2018-08-29 10:21 荣锋亮 阅读(3853) 评论(0) 推荐(0) 编辑

prisma 服务器端订阅试用
摘要:graphql 协议是支持数据的实时订阅功能的(一般基于websocket 进行实现) prisma 支持客户端订阅以及服务器端订阅(类似webhook),可以方便将 数据推送后端服务 目的 prisma 实现这个功能是方便集成当前的serverless 基础设施,当前支持的是通过webhook 的 阅读全文

posted @ 2018-08-28 12:51 荣锋亮 阅读(689) 评论(0) 推荐(0) 编辑

stardog 基本试用(社区版)
摘要:stardog 是一个知识图谱的实现,实现了sparql 以及graphql 协议,使用起来也比较简单,官方文档挺全 下载 社区版,注册之后会有邮件通知,里面会包含license 以及软件包 下载地址 https://www.stardog.com/ 邮件内容 运行 邮件会有说明快速入门的文档,对于 阅读全文

posted @ 2018-08-27 09:51 荣锋亮 阅读(1220) 评论(0) 推荐(0) 编辑

pipelinedb 滑动窗口
摘要:滑动窗口可以方便的让我们进行一段时间的数据分析 几个主要函数 clock_timestamp 内置的函数,总是返回当前的时间戳 arrival_timestamp 事件达到的时间 单滑动窗口 参考 CREATE CONTINUOUS VIEW recent_users WITH (sw = '1 m 阅读全文

posted @ 2018-08-26 22:48 荣锋亮 阅读(264) 评论(0) 推荐(0) 编辑

pipelinedb Continuous transforms 操作
摘要:Continuous transforms 可以进行数据的转换,数据是不进行存储,主要是可以加入到其他的stream pipeline 中,或者写到其他外部 存储中,和存储过程结合使用,当前默认内置一个pipeline_stream_insert方便数据写入其他strem 注意不支持聚合操作 doc 阅读全文

posted @ 2018-08-26 22:30 荣锋亮 阅读(382) 评论(0) 推荐(0) 编辑

pipelinedb continuous view 操作
摘要:continuous view 是 pipelinedb的核心,类似一个view,但是数据是合并了stream以及table的数据输入数据,并且是 实时根据输入数据进行更新的 语法 CREATE CONTINUOUS VIEW name AS query query是一个pg 的select 格式的 阅读全文

posted @ 2018-08-26 11:38 荣锋亮 阅读(445) 评论(0) 推荐(0) 编辑

hasura graphql 集成pipelinedb测试
摘要:实际上因为pipelinedb 是原生支持pg的,所以应该不存在太大的问题,以下为测试 使用doker-compose 运行 配置 docker-compose 文件 version: '3.6' services: postgres: image: tkanos/pipelinedb_kafka 阅读全文

posted @ 2018-08-26 00:18 荣锋亮 阅读(257) 评论(0) 推荐(0) 编辑

prisma 集成 pipelinedb测试
摘要:pipelinedb 是一个基于pg数据库开发的stream sql 数据库,和prisma 集成起来可以开发很 方便的stream 应用 使用docker 安装 项目初始化 prisma init 注意选择数据库类型为pg 注意选择数据库类型为pg prisma init 修改模板配置 versi 阅读全文

posted @ 2018-08-26 00:00 荣锋亮 阅读(541) 评论(0) 推荐(0) 编辑

ory Oathkeeper cloud native 访问认证平台
摘要:ORY Oathkeeper is an Identity & Access Proxy (IAP) that authorizes HTTP requests based on sets of rules. The BeyondCorp Model is designed by Google an 阅读全文

posted @ 2018-08-24 18:23 荣锋亮 阅读(678) 评论(0) 推荐(0) 编辑

golang 自定义importpath
摘要:golang 的包导入和其他语言有好多不一样的地方,以下是一个自定义的导入 golang 自定义导入说明 一个官方的说明 比较简单,就不翻译了,主要是说我们可以通过添加meta 数据告诉包如何进行加载 比较简单,就不翻译了,主要是说我们可以通过添加meta 数据告诉包如何进行加载 For examp 阅读全文

posted @ 2018-08-24 15:08 荣锋亮 阅读(1356) 评论(0) 推荐(0) 编辑

streamsets 集成 minio s3测试
摘要:具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务 搭建 具体搭建参考: https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket (crate 阅读全文

posted @ 2018-08-23 16:49 荣锋亮 阅读(685) 评论(0) 推荐(0) 编辑

streamsets 集成 cratedb 测试
摘要:我们可以集成crate 到streamsets 中可以实现强大的数据导入,数据分析能力。 演示的是进行csv 文件的解析并输出到cratedb 环境使用docker && docker-compose 环境启动 docker-compose yaml 文件 version: "3" services 阅读全文

posted @ 2018-08-23 14:51 荣锋亮 阅读(1000) 评论(0) 推荐(0) 编辑

streamsets k8s 部署试用
摘要:使用k8s 进行 streamsets的部署(没有使用持久化存储) k8s deploy yaml 文件 deploy.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: streamsets namespace: 阅读全文

posted @ 2018-08-23 11:36 荣锋亮 阅读(793) 评论(0) 推荐(0) 编辑

streamsets rest api 转换 graphql
摘要:原理很简单,就是使用swagger api 生成schema 然后代理请求处理api 调用 参考项目 https://github.com/rongfengliang/streamsets-graphql-api streamsets restapi 使用的npm 包 package.json: { 阅读全文

posted @ 2018-08-22 19:13 荣锋亮 阅读(1403) 评论(0) 推荐(0) 编辑

StreamSets sdc rpc 测试
摘要:一个简单的参考图 destination pipeline 创建 pipeline flow sdc destination 配置 origin sdc rpc pipeline pipeline flow sdc rpc 配置 local fs 配置 运行效果 数据发送方 数据接收方 参考资料 h 阅读全文

posted @ 2018-08-22 10:51 荣锋亮 阅读(484) 评论(0) 推荐(0) 编辑

StreamSets 相关文章
摘要:相关streamsets 文章(不按顺序) 学习视频-百度网盘 StreamSets 设计Edge pipeline StreamSets Data Collector Edge 说明 streamsets Executors 说明 streamsets geoip 使用 streamsets st 阅读全文

posted @ 2018-08-22 10:33 荣锋亮 阅读(517) 评论(0) 推荐(0) 编辑

StreamSets 多线程 Pipelines
摘要:以下为官方文档: Multithreaded Pipeline Overview A multithreaded pipeline is a pipeline with an origin that supports parallel execution, enabling one pipeline 阅读全文

posted @ 2018-08-22 10:31 荣锋亮 阅读(1003) 评论(0) 推荐(0) 编辑

StreamSets SDC RPC Pipelines说明
摘要:主要目的是进行跨pipeline 数据的通信,而不仅仅是内部pipeline 的通信,之间不同网络进行通信 一个参考图 pipeline 类型 origin destination 部署架构 使用多个destination 保证可靠性,参考下图 如果数据是相似的,可以实现负载均衡以及冗余,参考下图 阅读全文

posted @ 2018-08-22 10:24 荣锋亮 阅读(1375) 评论(0) 推荐(0) 编辑

StreamSets 管理 SDC Edge上的pipeline
摘要:可选的方式: ui (data colelctor) 发送命令 UI 主要是创建edge pipeline 的时候进行edge server 的配置 默认是 http://localhost:18633 发送命令 启动时 格式如下: bin/edge -start=<pipelineID> -run 阅读全文

posted @ 2018-08-22 10:05 荣锋亮 阅读(462) 评论(0) 推荐(0) 编辑

StreamSets 部署 Pipelines 到 SDC Edge
摘要:可以使用如下方法: 下载edge 运行包并包含pipeline定义文件. 直接发布到edge 设备. 在data colelctor 机器配置并配置了edge server 地址(主要需要网络可访问) 导出edge pipeline 配置,并移动到edge 设备 直接发布pipeline 可以通过u 阅读全文

posted @ 2018-08-22 09:54 荣锋亮 阅读(521) 评论(0) 推荐(0) 编辑

StreamSets 设计Edge pipeline
摘要:edge pipeline 运行在edge 执行模式,我们可以使用 data collector UI 进行edge pipeline 设计, 设计完成之后,你可以部署对应的pipeline到edge 设备 可以设计的edge pipeline edge 发送pipeline edge 发送pipe 阅读全文

posted @ 2018-08-22 09:22 荣锋亮 阅读(636) 评论(0) 推荐(0) 编辑

StreamSets Data Collector Edge 说明
摘要:Data Collector Edge 是不包含界面的agent 安装 下载包 https://streamsets.com/opensource tar xf streamsets-datacollector-edge-<version>-<os>-<architecture>.tgz 使用doc 阅读全文

posted @ 2018-08-21 22:52 荣锋亮 阅读(2047) 评论(0) 推荐(0) 编辑

prisma 集成tidb 安装试用
摘要:以前官方提供的ansible 的脚本,现在有了docker的版本,可以方便测试使用 实际完整配置参考 https://github.com/rongfengliang/prisma-tidb 安装tidb clone 代码 git clone https://github.com/pingcap/t 阅读全文

posted @ 2018-08-21 20:24 荣锋亮 阅读(611) 评论(0) 推荐(0) 编辑

streamsets Executors 说明
摘要:执行程序阶段在收到事件时触发任务。执行者不会写入或存储事件。 将执行程序用作事件流中数据流触发器的一部分,以执行事件驱动的与管道相关的任务,例如在目标关闭时移动完全写入的文件。 可以使用的executors Amazon S3 - Creates new Amazon S3 objects for 阅读全文

posted @ 2018-08-21 15:48 荣锋亮 阅读(453) 评论(0) 推荐(0) 编辑

streamsets geoip 使用
摘要:geoip 分析对于网站数据分析是很方便的 安装geoip2 下载地址 https://dev.maxmind.com/geoip/geoip2/geolite2/ 配置streamsets geoip 组件 pipeline flow dev raw data 配置 geoip 配置 json p 阅读全文

posted @ 2018-08-21 15:37 荣锋亮 阅读(551) 评论(3) 推荐(0) 编辑

streamsets stream selector 使用
摘要:stream selector 就是一个选择器,可以方便的对于不同record 的数据进行区分,并执行不同的处理 pipeline flow stream selector 配置 local fs 配置 主要是进行数据的存储 运行效果 dev 数据 效果 参考资料 https://streamset 阅读全文

posted @ 2018-08-21 13:27 荣锋亮 阅读(1727) 评论(0) 推荐(0) 编辑

streamsets mongodb destinations 使用
摘要:测试集成了directory(excel) 以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset 阅读全文

posted @ 2018-08-21 12:44 荣锋亮 阅读(1539) 评论(7) 推荐(0) 编辑

streamsets redis destinations 使用
摘要:测试集成了directory(excel) 以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset 阅读全文

posted @ 2018-08-21 10:28 荣锋亮 阅读(1081) 评论(0) 推荐(0) 编辑

streamsets excel 数据处理
摘要:streamsets 有一个directory的origin 可以方便的进行文件的处理,支持的格式也比较多,使用简单 pipeline flow 配置 excel 数据copy 因为使用的是容器,会有数据copy 容器的一步 因为使用的是容器,会有数据copy 容器的一步 容器id 结合实际查询: 阅读全文

posted @ 2018-08-21 09:24 荣锋亮 阅读(1220) 评论(0) 推荐(0) 编辑

streamsets Processors 说明
摘要:Processors 表示对于一种数据操作处理,在pipeline中可以应用多个Processors, 同时根据不同的执行模式,可以分为独立模式的,集群模式、边缘模式(agent),以及 帮助测试的测试Processors 独立pipelineonly Record Deduplicator - R 阅读全文

posted @ 2018-08-21 09:22 荣锋亮 阅读(910) 评论(0) 推荐(0) 编辑

streamsets record header 属性
摘要:record 的header 属性可以在pipeline 逻辑中使用。 有写stages 会为了特殊目录创建reord header 属性,比如(cdc)需要进行crud 操作类型的区分 你可以使用一些processor 去创建或者更新record 的header 属性信息 一个简单的header处 阅读全文

posted @ 2018-08-20 15:56 荣锋亮 阅读(973) 评论(0) 推荐(0) 编辑

streamsets 错误记录处理
摘要:我们可以在stage 级别,或者piepline 级别进行error 处理配置 pipeline的错误记录处理 discard(丢踢) send response to Origin pipeline传递错误记录回microservice origin ,同时包含了错误的record 个数以及met 阅读全文

posted @ 2018-08-20 15:16 荣锋亮 阅读(930) 评论(0) 推荐(0) 编辑

streamsets 丢踢无关数据
摘要:对于不需要的数据,streamsets 可以方便的设置丢踢,我们可以通过定义require 字段或者前置条件进行配置 require(必须字段) 必须字段是必须存在一条record 中的,对于不存在的,系统根据配置的error 处理规则进行处理,require 字段 可以在processor exe 阅读全文

posted @ 2018-08-20 14:59 荣锋亮 阅读(389) 评论(0) 推荐(0) 编辑

streamsets 数据流设计
摘要:streamsets 支持branch(分支)&& merge(合并)模式的数据流 branch 数据流 如下图: 我们可以根据数据包含的字段进行拆分,不同的数据流处理自己关注的数据 merge 合并数据流 如下图: 可以将多个数据流,发送到同一个stage(阶段),但是不是进行数据的合并,数据的处 阅读全文

posted @ 2018-08-20 14:45 荣锋亮 阅读(1829) 评论(0) 推荐(0) 编辑

streamsets origin 说明
摘要:origin 是streamsets pipeline的soure 入口,只能应用一个origin 在pipeline中, 对于运行在不同执行模式的pipeline 可以应用不同的origin 独立模式 集群模式 edge模式(agent) 开发模式(方便测试) standalone(独立模式)组件 阅读全文

posted @ 2018-08-20 14:27 荣锋亮 阅读(1714) 评论(0) 推荐(0) 编辑

streamsets http client && json parse && local fs 使用
摘要:streamsets 包含了丰富的组件,origin processer destination 测试例子为集成了http client 以及json 处理 启动服务 使用docker 创建pipeline 添加http client 组件 配置http client http 服务地址: http 阅读全文

posted @ 2018-08-20 13:45 荣锋亮 阅读(2116) 评论(0) 推荐(0) 编辑

streamsets 包管理
摘要:streamsets 自带一个包管理,可以方便的进行三方组件的添加,比如我们需要处理mongodb 数据,默认是没有添加这个组件的,操作如下: 选择包管理 选择组件 安装 点击安装 提示界面 安装完成,重启应用 使用 添加 配置 添加 配置 阅读全文

posted @ 2018-08-19 22:52 荣锋亮 阅读(770) 评论(0) 推荐(0) 编辑

使用ksync 加速基于k8s 的应用开发
摘要:ksync 实际上实现了类似 docker docker run -v /foo:/bar 的功能,可以加速我们应用的开发&&运行 安装 mac os curl https://vapor-ware.github.io/gimme-that/gimme.sh | bash 基本使用 初始化 ksyn 阅读全文

posted @ 2018-08-19 22:25 荣锋亮 阅读(435) 评论(0) 推荐(0) 编辑

streamsets microservice pipeline 试用
摘要:实际上还是一个pipeline,只是添加了一些规则以及内嵌的http server 方便我们对于基于http 或者类似轻量 协议数据的处理 基本环境 使用docker&& docker-compose 进行环境搭建,具体参考项目:https://github.com/rongfengliang/st 阅读全文

posted @ 2018-08-19 10:00 荣锋亮 阅读(879) 评论(0) 推荐(0) 编辑

kudu 虚拟机环境使用
摘要:安装 curl -s https://raw.githubusercontent.com/cloudera/kudu-examples/master/demo-vm-setup/bootstrap.sh | bash 备注: 会比较慢,可以使用其他的下载工具,提前下载放到目录即可,同时默认会自动启动 阅读全文

posted @ 2018-08-19 00:46 荣锋亮 阅读(303) 评论(0) 推荐(0) 编辑

kudu yum 安装
摘要:yum 源 http://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/cloudera-kudu.repo [cloudera-kudu] # Packages for Cloudera's Distribution for kudu, Versio 阅读全文

posted @ 2018-08-19 00:45 荣锋亮 阅读(496) 评论(0) 推荐(0) 编辑

streamsets docker 安装试用
摘要:docker 安装 docker run --restart on-failure -p 18630:18630 -d --name streamsets-dc streamsets/datacollector 简单demo 登陆 账户 admin admin 账户 admin admin 登陆完成 阅读全文

posted @ 2018-08-19 00:37 荣锋亮 阅读(1294) 评论(0) 推荐(0) 编辑

使用graphql-code-generator 生成graphql 代码
摘要:类似的工具比较多,比如prisma 、qloo、golang 的gqlgen、apollo-codegen graphql-code-generator 也是一个不错的工具(灵活、模版自定义。。。) 安装 npm install --save-dev graphql-code-generator g 阅读全文

posted @ 2018-08-18 09:56 荣锋亮 阅读(1734) 评论(0) 推荐(0) 编辑

harbor rest api 转graphql api
摘要:原理 实际上就是使用graphql 中的binding,首先基于swagger api 进行schema 生成,后边就是 使用binding 进行graphql 请求api 转换为rest api 请求,目前测试过两个开源的方案: prisma 的graphql-openapi-binding 以及 阅读全文

posted @ 2018-08-17 21:17 荣锋亮 阅读(688) 评论(0) 推荐(0) 编辑

ringojs java jar 集成使用
摘要:ringojs 可以方便进行java 代码的集成,我们可以把下载的jar包放到classpath,后者ringojs 的lib 目录 也可以进行代码编写 测试代码 集成了java 的一个hashid 的jar 包 https://github.com/jiecao-fm/hashids-java , 阅读全文

posted @ 2018-08-17 14:00 荣锋亮 阅读(542) 评论(0) 推荐(0) 编辑

ringojs 使用rp 包管理web 应用依赖
摘要:rp 是一个类似npm 的包管理工具,我们可以使用package.json 定义依赖 然后执行rp install 即可,类似ringo-admin 的功能 其中packages 类似node 的node_modules,安装后的包在packages 目录中 参考代码 项目结构 ├── Docker 阅读全文

posted @ 2018-08-17 12:26 荣锋亮 阅读(261) 评论(0) 推荐(0) 编辑

ringojs 的包管理
摘要:ringojs 集成了包管理目前有几种方式 ringo-admin rp ringo-admin 安装包 我们使用ringo-admin 安装rp ringo-admin install grob/rp 如果失败的话,可以使用: ringo-admin install http://packages 阅读全文

posted @ 2018-08-17 11:30 荣锋亮 阅读(278) 评论(2) 推荐(0) 编辑

ringojs 基于jvm 的javascript 平台试用
摘要:ringojs 是一个基于jvm 的javascript 平台,支持commonjs 模块模式 安装 下载包配置环境变量,或者使用docker,测试使用docker dockerfile deb 包安装 deb 包安装 FROM java:8 MAINTAINER 1141591465@qq.com 阅读全文

posted @ 2018-08-16 11:30 荣锋亮 阅读(909) 评论(0) 推荐(0) 编辑

graphql cli 开发graphql api flow
摘要:作用 代码生成 schema 处理 脚手架应用创建 项目管理 代码生成 schema 处理 脚手架应用创建 项目管理 安装cli 初始化项目(使用.graphqlconfig管理) 以下为demo demo 项目创建 添加数据操作(一般名称为database) 使用prisma cli 添加data 阅读全文

posted @ 2018-08-14 12:53 荣锋亮 阅读(920) 评论(0) 推荐(0) 编辑

使用caddy 进行nodejs web应用近实时编译更新
摘要:caddy 相比nginx 是一个不错的轻量代理服务器,支持的功能也是比较多的, 同时插件也挺多 demo 测试的是通过git 插件进行一个使用spec-md 编写的文档近实时编译以及预览 项目使用docker 构建,我已经在dockerhub 放了构建好的镜像 基本项目 website nodej 阅读全文

posted @ 2018-08-13 16:20 荣锋亮 阅读(1195) 评论(0) 推荐(0) 编辑

graphql-binding openapi 集成demo
摘要:类似的将openapi 转换为graphql api 的也有 https://github.com/yarax/swagger-to-graphql 基本项目 参考代码 https://github.com/rongfengliang/graphql-binding-openapi-docker 项 阅读全文

posted @ 2018-08-13 11:18 荣锋亮 阅读(247) 评论(0) 推荐(0) 编辑

获取 graphql schema 信息
摘要:模块 npm install -g get-graphql-schema get-graphql-schema GRAPHQL_URL > schema.graphql 简单使用 使用prisma cli prisma init appdemo cd appdmeo docker-compose u 阅读全文

posted @ 2018-08-13 10:27 荣锋亮 阅读(415) 评论(0) 推荐(0) 编辑

转 GraphQL Schema Stitching explained: Schema Delegation
摘要:转自官方文档 In the last article, we discussed the ins and outs of remote (executable) schemas. These remote schemas are the foundation for a set of tools a 阅读全文

posted @ 2018-08-13 09:13 荣锋亮 阅读(511) 评论(0) 推荐(0) 编辑

转 How do GraphQL remote schemas work
摘要:文章转自 prisma 官方博客,写的很不错 In this article, we want to understand how we can use any existing GraphQL API and expose it through our own server. In that se 阅读全文

posted @ 2018-08-13 09:03 荣锋亮 阅读(442) 评论(0) 推荐(0) 编辑

prisma middleware 简化 graphql resolver 编写的类库
摘要:prisma 推出middleware 的目的就是保持resolver 的简洁 作用: 输入参数访问同一个resolver 决定resolver 最终的返回值 在resolver 连中捕获异常以及错误 基本项目 初始化项目 yarn init -y 添加依赖 yarn add graphql-yog 阅读全文

posted @ 2018-08-11 22:10 荣锋亮 阅读(917) 评论(0) 推荐(0) 编辑

prisma graphql 集成timescaledb
摘要:prisma 官方文档说明了因为支持pg 所以相关的timescaledb、cockroachdb 应该也是支持的 但是测试之后timescaledb 支持cockroachdb有问题(事务处理模型支持有问题) 初始化项目 prisma init app 修改docker-compose file 阅读全文

posted @ 2018-08-11 11:34 荣锋亮 阅读(399) 评论(0) 推荐(0) 编辑

创建自定义graphql-binding
摘要:graphql-binding 是一个比较方便强大的工具,方便我们进行代码生成以及开发gateway的功能 项目初始化 使用prisma cli 使用脚手架 使用脚手架 prisma init appdemo ? Set up a new Prisma server or deploy to an 阅读全文

posted @ 2018-08-10 23:14 荣锋亮 阅读(235) 评论(0) 推荐(0) 编辑

opencrud 中文参考翻译(完成部分)
摘要:opencrud 是一个就比较好的关于graphql 实现的指南(当前只有部分文档,完整的还没有,实际上apollo 有相关的文档都挺不错的) 同时在github 有一个中文的简单翻译(后期应该会和官方同步) 访问地址 https://graphql-faas.github.io/opencrud/ 阅读全文

posted @ 2018-08-08 21:08 荣锋亮 阅读(474) 评论(0) 推荐(0) 编辑

strapi 开源api && 内容管理平台试用
摘要:strapi 是一个开源的api && 内容管理平台,功能操作起来还是比较方便简单的。 安装 使用docker && docker-compose 代码clone git clone https://github.com/strapi/strapi-docker && cd strapi-docke 阅读全文

posted @ 2018-08-08 20:39 荣锋亮 阅读(11209) 评论(2) 推荐(1) 编辑

使用Spec Markdown 编写手册文档
摘要:Spec Markdown 是一个基于markdown 的文档编写工具,安装简单,可以让我们编写出专业的文档 参考项目 https://github.com/rongfengliang/spec-md-demo 安装 全局 npm install -g spec-md 本地项目依赖 npm inst 阅读全文

posted @ 2018-08-08 09:53 荣锋亮 阅读(446) 评论(0) 推荐(0) 编辑

opencrud graphql 数据操作指南
摘要:opencrud 是社区团队提出,同时prisma框架就是按照这个标准设计的,里面包含了对于graphql 数据 操作的最佳实践,目前还在完善中,但是设计以及指南覆盖的功能还是比较全的,如果用过 prisma框架的人 应该会感觉非常熟悉,当前基于graphql 的框架工具是越来越多了,这个可以方便的 阅读全文

posted @ 2018-08-08 08:50 荣锋亮 阅读(475) 评论(0) 推荐(0) 编辑

cratedb joins 原理(官方文档)
摘要:In this document we will present the following topics. First, an overview of the existing types of joins and algorithms provided. Then a description o 阅读全文

posted @ 2018-08-06 23:05 荣锋亮 阅读(790) 评论(0) 推荐(0) 编辑

cratedb geo 查询
摘要:cratedb支持的geo 查询还相对比较全,开发基本的功能已经够用了 安装cratedb 使用docker docker run -d -p 4200:4200 crate 创建数据库 创建表 CREATE TABLE country ( name string, country_code str 阅读全文

posted @ 2018-08-06 14:02 荣锋亮 阅读(840) 评论(0) 推荐(0) 编辑

cratedb nodejs 试用
摘要:安装cratedb docker run -d -p 4200:4200 crate nodejs 项目初始化 yarn yarn init -y 添加依赖 yarn add node-crate 基本代码 app.js var crate = require('node-crate'); crate.connect('localhost', 4200); crat... 阅读全文

posted @ 2018-08-06 13:36 荣锋亮 阅读(171) 评论(0) 推荐(0) 编辑

cratedb json 数据导入
摘要:基本环境的搭建,可以参考相关文档,或者直接使用docker 安装 docker run -d -p 4200:4200 crate 导出mongodb数据(可选,同时使用工具进行数据类型转换) mongoexport --db <dbname> --collection <data> --out o 阅读全文

posted @ 2018-08-06 13:21 荣锋亮 阅读(976) 评论(0) 推荐(0) 编辑

cratedb 集群 docker-compose 安装试用
摘要:关于集群的配置说明可以参考官方文档,或者es 文档 详细代码参考 https://github.com/rongfengliang/cratedb-cluster-docker 参考配置 docker-compose version: "3" services: crate1: image: cra 阅读全文

posted @ 2018-08-06 10:25 荣锋亮 阅读(760) 评论(0) 推荐(0) 编辑

idyll 开源生成交互式web的标记语言试用
摘要:说明 Idyll is an open-source markup language and toolkit for producing interactive web pages You give Idyll a markup file , and it compiles that file to 阅读全文

posted @ 2018-08-05 18:42 荣锋亮 阅读(475) 评论(0) 推荐(0) 编辑

9 CSS in JS Libraries You Should Know in 2018
摘要:转自:https://blog.bitsrc.io/9-css-in-js-libraries-you-should-know-in-2018-25afb4025b9b 实际上 wix 的 stylable 也不错,网上也有相关的比较,以及有优缺点说明 Some of the best CSS in 阅读全文

posted @ 2018-08-05 17:14 荣锋亮 阅读(545) 评论(0) 推荐(0) 编辑

nginx brotli 压缩试用
摘要:brotli 的压缩比相对gzip 有好多提升 测试试用docker 测试代码 https://github.com/rongfengliang/rollup-babel-demolibrary 运行 构建镜像 docker-compose build 启动 docker-compose up -d 阅读全文

posted @ 2018-08-03 20:16 荣锋亮 阅读(1029) 评论(2) 推荐(0) 编辑

cratedb 集群搭建说明
摘要:此为搭建说明,实际上搭建过es 集群的都是可以的,和es 基本一样 配置文件 crate.yaml 参考集群架构图 集群名称 cluster.name: my_cluster 每个node节点名称 如果省略会自动生产,必须唯一 node.name: node1 集群transport 端口 tran 阅读全文

posted @ 2018-08-02 19:45 荣锋亮 阅读(2413) 评论(0) 推荐(0) 编辑

cratedb 基本试用
摘要:安装 docker run -d -p 4200:4200 crate UI访问 http://localhost:4200/#!/ 创建数据 tweets 是默认导入的,点击帮助导航可以操作 登陆 docker exec -it dockercontainerId sh crash 查询表 创建表 阅读全文

posted @ 2018-08-02 19:02 荣锋亮 阅读(3479) 评论(0) 推荐(0) 编辑

fusionjs 学习二 核心概念
摘要:核心概念 middleware 类似express 的中间件模型(实际上是构建在koa中间件模型上的),但是和koa 的中间件有差异 fusionjs 的中间件同时可以运行在浏览器页面加载的时候 services service 是任务可以暴露编程接口的library,主要与普通library的区别 阅读全文

posted @ 2018-08-02 16:06 荣锋亮 阅读(566) 评论(0) 推荐(0) 编辑

使用 Content-Encoding: br 替换 Content-Encoding: gzip
摘要:今天在测试一个web 框架的时候无意发现框架运行是响应头时有一个 Content-Encoding: br 发现是一个gzip 算法的替代,同时压缩比很不错 浏览器兼容性如下: nginx 的配置参考 https://blog.csdn.net/jackie_xiaonan/article/deta 阅读全文

posted @ 2018-08-02 14:05 荣锋亮 阅读(824) 评论(0) 推荐(0) 编辑

fusionjs 学习一 基本试用
摘要:参考demo 项目 https://github.com/rongfengliang/fusionjs-docker-demo 安装 create startkit yarn global add create-fusion-app 创建基本项目 使用create yarn create fusio 阅读全文

posted @ 2018-08-02 13:27 荣锋亮 阅读(1813) 评论(0) 推荐(0) 编辑

fusionjs uber开源的通用web插件化开发框架
摘要:fusionjs uber开源的web 插件化开发框架 核心特性: 基于插件的开发,依赖注入开发 开箱即用的服务器端渲染,构建结果拆分,模块热加载 Tree-shaking 支持 集成的插件 redux react router rpc 模式的数据访问,同时支持graphql 安全,自动添加csrf 阅读全文

posted @ 2018-08-02 12:35 荣锋亮 阅读(1085) 评论(0) 推荐(0) 编辑

wiremock docker 运行
摘要:使用docker 模式 docker-compose yaml version: '3.3' services: service1: image: rodolpheche/wiremock ports: - '9089:8080' volumes: - ./stubs:/home/wiremock/ 阅读全文

posted @ 2018-08-01 22:01 荣锋亮 阅读(477) 评论(0) 推荐(0) 编辑

QLoo graphql engine 学习三 架构
摘要:一张官方的参考图 说明 Storage Layer API 参考了kubernetes 的设计 qloo 组成 qloo 有qloo 服务以及envoy proxy 组合而成,envoy proxy 作为sidecar qloo 操作envoy 作为control plane ,方便qloo 使用g 阅读全文

posted @ 2018-08-01 19:41 荣锋亮 阅读(306) 评论(0) 推荐(0) 编辑

QLoo graphql engine 学习二 基本试用(kubernetes)
摘要:已经测试过docker&& docker-compose 的运行模式,下面测试下kubernetes的运行模式 kubernetes 我使用docker for mac qloo 安装 下载 https://github.com/solo-io/qloo/releases https://githu 阅读全文

posted @ 2018-08-01 19:22 荣锋亮 阅读(511) 评论(0) 推荐(0) 编辑

QLoo graphql engine 学习一 基本试用(docker&&docker-compose)
摘要:说明:使用docker-compose 进行安装 代码框架 使用命令行工具创建 qlooctl install docker qloo-docker 运行qloo&&gloo 启动 cd ./qloo-docker docker-compose up 效果 配置glooctl &&qlooctl工具 阅读全文

posted @ 2018-08-01 18:50 荣锋亮 阅读(581) 评论(0) 推荐(0) 编辑

使用rollup 开发专业js library
摘要:rollup 是一个不错的javascript 模块打包器,一般我们用来构建library 安装 npm install -g rollup 参考集成jquey && shortid 的library 使用es6 语法 项目结构 ├── index.html ├── package.json ├── 阅读全文

posted @ 2018-08-01 09:39 荣锋亮 阅读(889) 评论(0) 推荐(0) 编辑

QLoo graphql engine了解
摘要:参考架构图 处理流程 使用gloo注册服务api 发现断电以及serverless 函数 更新graphql schema 在qloo的resolvermap 中连接schema定义的字段 特性 不用写代码设计graphql api 动态负载均衡 健康检查 opentracing 监控 客户端ssl 阅读全文

posted @ 2018-08-01 08:48 荣锋亮 阅读(248) 评论(0) 推荐(0) 编辑

导航