荣锋亮 - 博客园

streamsets excel 数据处理

摘要： streamsets 有一个directory的origin 可以方便的进行文件的处理，支持的格式也比较多，使用简单 pipeline flow 配置 excel 数据copy 因为使用的是容器，会有数据copy 容器的一步因为使用的是容器，会有数据copy 容器的一步容器id 结合实际查询：阅读全文

posted @ 2018-08-21 09:24 荣锋亮阅读(1217) 评论(0) 推荐(0) 编辑

streamsets Processors 说明

摘要： Processors 表示对于一种数据操作处理，在pipeline中可以应用多个Processors，同时根据不同的执行模式，可以分为独立模式的，集群模式、边缘模式（agent），以及帮助测试的测试Processors 独立pipelineonly Record Deduplicator - R 阅读全文

posted @ 2018-08-21 09:22 荣锋亮阅读(902) 评论(0) 推荐(0) 编辑

streamsets record header 属性

摘要： record 的header 属性可以在pipeline 逻辑中使用。有写stages 会为了特殊目录创建reord header 属性，比如（cdc）需要进行crud 操作类型的区分你可以使用一些processor 去创建或者更新record 的header 属性信息一个简单的header处阅读全文

posted @ 2018-08-20 15:56 荣锋亮阅读(967) 评论(0) 推荐(0) 编辑

streamsets 错误记录处理

摘要：我们可以在stage 级别，或者piepline 级别进行error 处理配置 pipeline的错误记录处理 discard（丢踢） send response to Origin pipeline传递错误记录回microservice origin ，同时包含了错误的record 个数以及met 阅读全文

posted @ 2018-08-20 15:16 荣锋亮阅读(913) 评论(0) 推荐(0) 编辑

streamsets 丢踢无关数据

摘要：对于不需要的数据，streamsets 可以方便的设置丢踢，我们可以通过定义require 字段或者前置条件进行配置 require（必须字段）必须字段是必须存在一条record 中的，对于不存在的，系统根据配置的error 处理规则进行处理，require 字段可以在processor exe 阅读全文

posted @ 2018-08-20 14:59 荣锋亮阅读(388) 评论(0) 推荐(0) 编辑

streamsets 数据流设计

摘要： streamsets 支持branch（分支）&& merge（合并）模式的数据流 branch 数据流如下图：我们可以根据数据包含的字段进行拆分，不同的数据流处理自己关注的数据 merge 合并数据流如下图：可以将多个数据流，发送到同一个stage（阶段），但是不是进行数据的合并，数据的处阅读全文

posted @ 2018-08-20 14:45 荣锋亮阅读(1817) 评论(0) 推荐(0) 编辑

streamsets origin 说明

摘要： origin 是streamsets pipeline的soure 入口，只能应用一个origin 在pipeline中，对于运行在不同执行模式的pipeline 可以应用不同的origin 独立模式集群模式 edge模式（agent）开发模式（方便测试） standalone（独立模式）组件阅读全文

posted @ 2018-08-20 14:27 荣锋亮阅读(1709) 评论(0) 推荐(0) 编辑

streamsets http client && json parse && local fs 使用

摘要： streamsets 包含了丰富的组件，origin processer destination 测试例子为集成了http client 以及json 处理启动服务使用docker 创建pipeline 添加http client 组件配置http client http 服务地址： http 阅读全文

posted @ 2018-08-20 13:45 荣锋亮阅读(2099) 评论(0) 推荐(0) 编辑

streamsets 包管理

摘要： streamsets 自带一个包管理，可以方便的进行三方组件的添加，比如我们需要处理mongodb 数据，默认是没有添加这个组件的，操作如下：选择包管理选择组件安装点击安装提示界面安装完成，重启应用使用添加配置添加配置阅读全文

posted @ 2018-08-19 22:52 荣锋亮阅读(770) 评论(0) 推荐(0) 编辑

使用ksync 加速基于k8s 的应用开发

摘要： ksync 实际上实现了类似 docker docker run -v /foo:/bar 的功能，可以加速我们应用的开发&&运行安装 mac os curl https://vapor-ware.github.io/gimme-that/gimme.sh | bash 基本使用初始化 ksyn 阅读全文

posted @ 2018-08-19 22:25 荣锋亮阅读(434) 评论(0) 推荐(0) 编辑

streamsets microservice pipeline 试用

摘要：实际上还是一个pipeline，只是添加了一些规则以及内嵌的http server 方便我们对于基于http 或者类似轻量协议数据的处理基本环境使用docker&& docker-compose 进行环境搭建，具体参考项目：https://github.com/rongfengliang/st 阅读全文

posted @ 2018-08-19 10:00 荣锋亮阅读(875) 评论(0) 推荐(0) 编辑

kudu 虚拟机环境使用

摘要：安装 curl -s https://raw.githubusercontent.com/cloudera/kudu-examples/master/demo-vm-setup/bootstrap.sh | bash 备注：会比较慢，可以使用其他的下载工具，提前下载放到目录即可，同时默认会自动启动阅读全文

posted @ 2018-08-19 00:46 荣锋亮阅读(302) 评论(0) 推荐(0) 编辑

kudu yum 安装

摘要： yum 源 http://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/cloudera-kudu.repo [cloudera-kudu] # Packages for Cloudera's Distribution for kudu, Versio 阅读全文

posted @ 2018-08-19 00:45 荣锋亮阅读(496) 评论(0) 推荐(0) 编辑

streamsets docker 安装试用

摘要： docker 安装 docker run --restart on-failure -p 18630:18630 -d --name streamsets-dc streamsets/datacollector 简单demo 登陆账户 admin admin 账户 admin admin 登陆完成阅读全文

posted @ 2018-08-19 00:37 荣锋亮阅读(1289) 评论(0) 推荐(0) 编辑

使用graphql-code-generator 生成graphql 代码

摘要：类似的工具比较多，比如prisma 、qloo、golang 的gqlgen、apollo-codegen graphql-code-generator 也是一个不错的工具（灵活、模版自定义。。。）安装 npm install --save-dev graphql-code-generator g 阅读全文

posted @ 2018-08-18 09:56 荣锋亮阅读(1713) 评论(0) 推荐(0) 编辑

harbor rest api 转graphql api

摘要：原理实际上就是使用graphql 中的binding，首先基于swagger api 进行schema 生成，后边就是使用binding 进行graphql 请求api 转换为rest api 请求，目前测试过两个开源的方案： prisma 的graphql-openapi-binding 以及阅读全文

posted @ 2018-08-17 21:17 荣锋亮阅读(685) 评论(0) 推荐(0) 编辑

ringojs java jar 集成使用

摘要： ringojs 可以方便进行java 代码的集成，我们可以把下载的jar包放到classpath，后者ringojs 的lib 目录也可以进行代码编写测试代码集成了java 的一个hashid 的jar 包 https://github.com/jiecao-fm/hashids-java , 阅读全文

posted @ 2018-08-17 14:00 荣锋亮阅读(540) 评论(0) 推荐(0) 编辑

ringojs 使用rp 包管理web 应用依赖

摘要： rp 是一个类似npm 的包管理工具，我们可以使用package.json 定义依赖然后执行rp install 即可，类似ringo-admin 的功能其中packages 类似node 的node_modules，安装后的包在packages 目录中参考代码项目结构 ├── Docker 阅读全文

posted @ 2018-08-17 12:26 荣锋亮阅读(259) 评论(0) 推荐(0) 编辑

ringojs 的包管理

摘要： ringojs 集成了包管理目前有几种方式 ringo-admin rp ringo-admin 安装包我们使用ringo-admin 安装rp ringo-admin install grob/rp 如果失败的话，可以使用： ringo-admin install http://packages 阅读全文

posted @ 2018-08-17 11:30 荣锋亮阅读(276) 评论(2) 推荐(0) 编辑

ringojs 基于jvm 的javascript 平台试用

摘要： ringojs 是一个基于jvm 的javascript 平台，支持commonjs 模块模式安装下载包配置环境变量，或者使用docker，测试使用docker dockerfile deb 包安装 deb 包安装 FROM java:8 MAINTAINER 1141591465@qq.com 阅读全文

posted @ 2018-08-16 11:30 荣锋亮阅读(908) 评论(0) 推荐(0) 编辑

graphql cli 开发graphql api flow

摘要：作用代码生成 schema 处理脚手架应用创建项目管理代码生成 schema 处理脚手架应用创建项目管理安装cli 初始化项目（使用.graphqlconfig管理）以下为demo demo 项目创建添加数据操作（一般名称为database）使用prisma cli 添加data 阅读全文

posted @ 2018-08-14 12:53 荣锋亮阅读(920) 评论(0) 推荐(0) 编辑

使用caddy 进行nodejs web应用近实时编译更新

摘要： caddy 相比nginx 是一个不错的轻量代理服务器，支持的功能也是比较多的，同时插件也挺多 demo 测试的是通过git 插件进行一个使用spec-md 编写的文档近实时编译以及预览项目使用docker 构建，我已经在dockerhub 放了构建好的镜像基本项目 website nodej 阅读全文

posted @ 2018-08-13 16:20 荣锋亮阅读(1190) 评论(0) 推荐(0) 编辑

graphql-binding openapi 集成demo

摘要：类似的将openapi 转换为graphql api 的也有 https://github.com/yarax/swagger-to-graphql 基本项目参考代码 https://github.com/rongfengliang/graphql-binding-openapi-docker 项阅读全文

posted @ 2018-08-13 11:18 荣锋亮阅读(245) 评论(0) 推荐(0) 编辑

获取 graphql schema 信息

摘要：模块 npm install -g get-graphql-schema get-graphql-schema GRAPHQL_URL > schema.graphql 简单使用使用prisma cli prisma init appdemo cd appdmeo docker-compose u 阅读全文

posted @ 2018-08-13 10:27 荣锋亮阅读(408) 评论(0) 推荐(0) 编辑

转 GraphQL Schema Stitching explained: Schema Delegation

摘要：转自官方文档 In the last article, we discussed the ins and outs of remote (executable) schemas. These remote schemas are the foundation for a set of tools a 阅读全文

posted @ 2018-08-13 09:13 荣锋亮阅读(510) 评论(0) 推荐(0) 编辑

转 How do GraphQL remote schemas work

摘要：文章转自 prisma 官方博客，写的很不错 In this article, we want to understand how we can use any existing GraphQL API and expose it through our own server. In that se 阅读全文

posted @ 2018-08-13 09:03 荣锋亮阅读(436) 评论(0) 推荐(0) 编辑

prisma middleware 简化 graphql resolver 编写的类库

摘要： prisma 推出middleware 的目的就是保持resolver 的简洁作用：输入参数访问同一个resolver 决定resolver 最终的返回值在resolver 连中捕获异常以及错误基本项目初始化项目 yarn init -y 添加依赖 yarn add graphql-yog 阅读全文

posted @ 2018-08-11 22:10 荣锋亮阅读(917) 评论(0) 推荐(0) 编辑

prisma graphql 集成timescaledb

摘要： prisma 官方文档说明了因为支持pg 所以相关的timescaledb、cockroachdb 应该也是支持的但是测试之后timescaledb 支持cockroachdb有问题（事务处理模型支持有问题）初始化项目 prisma init app 修改docker-compose file 阅读全文

posted @ 2018-08-11 11:34 荣锋亮阅读(397) 评论(0) 推荐(0) 编辑

创建自定义graphql-binding

摘要： graphql-binding 是一个比较方便强大的工具，方便我们进行代码生成以及开发gateway的功能项目初始化使用prisma cli 使用脚手架使用脚手架 prisma init appdemo ? Set up a new Prisma server or deploy to an 阅读全文

posted @ 2018-08-10 23:14 荣锋亮阅读(233) 评论(0) 推荐(0) 编辑

opencrud 中文参考翻译（完成部分)

摘要： opencrud 是一个就比较好的关于graphql 实现的指南（当前只有部分文档，完整的还没有，实际上apollo 有相关的文档都挺不错的）同时在github 有一个中文的简单翻译（后期应该会和官方同步）访问地址 https://graphql-faas.github.io/opencrud/ 阅读全文

posted @ 2018-08-08 21:08 荣锋亮阅读(473) 评论(0) 推荐(0) 编辑

strapi 开源api && 内容管理平台试用

摘要： strapi 是一个开源的api && 内容管理平台，功能操作起来还是比较方便简单的。安装使用docker && docker-compose 代码clone git clone https://github.com/strapi/strapi-docker && cd strapi-docke 阅读全文

posted @ 2018-08-08 20:39 荣锋亮阅读(11186) 评论(2) 推荐(1) 编辑

使用Spec Markdown 编写手册文档

摘要： Spec Markdown 是一个基于markdown 的文档编写工具，安装简单，可以让我们编写出专业的文档参考项目 https://github.com/rongfengliang/spec-md-demo 安装全局 npm install -g spec-md 本地项目依赖 npm inst 阅读全文

posted @ 2018-08-08 09:53 荣锋亮阅读(445) 评论(0) 推荐(0) 编辑

opencrud graphql 数据操作指南

摘要： opencrud 是社区团队提出，同时prisma框架就是按照这个标准设计的，里面包含了对于graphql 数据操作的最佳实践，目前还在完善中，但是设计以及指南覆盖的功能还是比较全的，如果用过 prisma框架的人应该会感觉非常熟悉，当前基于graphql 的框架工具是越来越多了，这个可以方便的阅读全文

posted @ 2018-08-08 08:50 荣锋亮阅读(475) 评论(0) 推荐(0) 编辑

cratedb joins 原理(官方文档)

摘要： In this document we will present the following topics. First, an overview of the existing types of joins and algorithms provided. Then a description o 阅读全文

posted @ 2018-08-06 23:05 荣锋亮阅读(786) 评论(0) 推荐(0) 编辑

cratedb geo 查询

摘要： cratedb支持的geo 查询还相对比较全，开发基本的功能已经够用了安装cratedb 使用docker docker run -d -p 4200:4200 crate 创建数据库创建表 CREATE TABLE country ( name string, country_code str 阅读全文

posted @ 2018-08-06 14:02 荣锋亮阅读(838) 评论(0) 推荐(0) 编辑

cratedb nodejs 试用

摘要：安装cratedb docker run -d -p 4200:4200 crate nodejs 项目初始化 yarn yarn init -y 添加依赖 yarn add node-crate 基本代码 app.js var crate = require('node-crate'); crate.connect('localhost', 4200); crat... 阅读全文

posted @ 2018-08-06 13:36 荣锋亮阅读(170) 评论(0) 推荐(0) 编辑

cratedb json 数据导入

摘要：基本环境的搭建，可以参考相关文档，或者直接使用docker 安装 docker run -d -p 4200:4200 crate 导出mongodb数据（可选，同时使用工具进行数据类型转换） mongoexport --db <dbname> --collection <data> --out o 阅读全文

posted @ 2018-08-06 13:21 荣锋亮阅读(975) 评论(0) 推荐(0) 编辑

cratedb 集群 docker-compose 安装试用

摘要：关于集群的配置说明可以参考官方文档，或者es 文档详细代码参考 https://github.com/rongfengliang/cratedb-cluster-docker 参考配置 docker-compose version: "3" services: crate1: image: cra 阅读全文

posted @ 2018-08-06 10:25 荣锋亮阅读(757) 评论(0) 推荐(0) 编辑

idyll 开源生成交互式web的标记语言试用

摘要：说明 Idyll is an open-source markup language and toolkit for producing interactive web pages You give Idyll a markup file , and it compiles that file to 阅读全文

posted @ 2018-08-05 18:42 荣锋亮阅读(470) 评论(0) 推荐(0) 编辑

9 CSS in JS Libraries You Should Know in 2018

摘要：转自：https://blog.bitsrc.io/9-css-in-js-libraries-you-should-know-in-2018-25afb4025b9b 实际上 wix 的 stylable 也不错，网上也有相关的比较,以及有优缺点说明 Some of the best CSS in 阅读全文

posted @ 2018-08-05 17:14 荣锋亮阅读(544) 评论(0) 推荐(0) 编辑

导航

公告