荣锋亮 - 博客园

dbt seed 以及base ephemeral使用

摘要： seed 可以方便的进行数据的导入，可以方便的进行不变数据（少量）以及测试数据的导入， base 设置为 ephemeral（暂态），这个同时也是官方最佳实践的建议项目依赖的gitlab 数据可以参考https://github.com/rongfengliang/graphql-engine-g 阅读全文

posted @ 2018-10-22 10:14 荣锋亮阅读(519) 评论(0) 推荐(0) 编辑

dbt macro 说明

摘要： macro是SQL的片段，可以像模型中的函数一样调用。macro可以在模型之间重复使用SQL，以符合DRY（不要重复自己）的工程原理。此外，共享包可以公开您可以在自己的dbt项目中使用的macro。要使用macro，macro-paths请在dbt_project.yml文件中添加配置条目。ma 阅读全文

posted @ 2018-10-21 10:30 荣锋亮阅读(349) 评论(0) 推荐(0) 编辑

构建一个dbt 数据库适配器

摘要：脚手架新的适配器首先，将odbc适配器模板复制到同一目录中的新文件。更新dbt / adapters / factory.py以将新适配器包含为类型。还要将类型添加到dbt / contracts / connection.py，并添加一个定义适配器配置文件外观的约定。实现适配器功能在适配阅读全文

posted @ 2018-10-21 10:20 荣锋亮阅读(878) 评论(0) 推荐(0) 编辑

dbt 包的构建

摘要： dbt的包是一种可以复用的代码，可以方便进行模型的共享创建一个包和普通的dbt 项目类似初始化（init） dbt init [packagename] 目录结构文件: README.md dbt_project.yml 目录: models/ macros/ tests/ analysis 阅读全文

posted @ 2018-10-21 10:09 荣锋亮阅读(434) 评论(0) 推荐(0) 编辑

dbt 生产环境使用

摘要：可以使用如下方式：云主机或者普通的机器使用 airflow 使用 Sinter, 一个托管的dbt runner 常见问题: 如何管理权限？可以使用hooks 进行配置用户组以及权限说明实际上，支持任务调度的工具都是可以用来触发dbt的参考资料 https://docs.getdbt.c 阅读全文

posted @ 2018-10-21 09:48 荣锋亮阅读(426) 评论(0) 推荐(0) 编辑

来自官方的一些dbt 最佳实践

摘要：限制对原始数据的依赖性您的项目将取决于存储在数据库中的原始数据。我们建议制作所谓的“基本模型”，以最大限度地减少对原始数据表的依赖性。在此约定中，基本模型可以具有以下职责：仅选择与当前分析相关的字段以限制复杂性。以后可以随时添加更多字段。执行任何所需的类型转换。执行字段别名以将字段名称合理化阅读全文

posted @ 2018-10-21 09:42 荣锋亮阅读(1332) 评论(0) 推荐(0) 编辑

knowledge-repo 知识管理简单试用

摘要： knowledge-repo 是airbnb 开源的知识管理工具，只集成git 数据库等类型的存储安装 pip install --upgrade "knowledge-repo[all]" 基本项目创建git 项目 knowledge_repo --repo init demoapp 创建简单阅读全文

posted @ 2018-10-20 22:45 荣锋亮阅读(788) 评论(0) 推荐(0) 编辑

dbt 包管理

摘要： dbt 可以方便的支持基于git 的包管理依赖申明位置 dbt_project.yml 中的repositories 或者使用packages.yaml 格式 dbt_project.yml: repositories: - https://github.com/fishtown-analyti 阅读全文

posted @ 2018-10-20 20:28 荣锋亮阅读(457) 评论(0) 推荐(0) 编辑

dbt 的知识文档管理

摘要： dbt 支持docs的管理，可以方便进行分享，以及大家的可视化工作有一篇文档讲的特别好分析了知识共享，知识管理的重要性（dbt 对应公司的ceo） https://blog.fishtownanalytics.com/scaling-knowledge-160f9f5a9b6c?_branch_m 阅读全文

posted @ 2018-10-20 20:08 荣锋亮阅读(578) 评论(0) 推荐(0) 编辑

knowledge 开源知识管理系统

摘要： knowledge 是一个不错的知识管理系统，基于markdown 我们可以方便的进行知识的标签以及展示使用docker-compose 运行环境准备 docker-compose 文件 version: "3" services: k: image: koda/docker-knowledg 阅读全文

posted @ 2018-10-20 19:43 荣锋亮阅读(11121) 评论(0) 推荐(0) 编辑

hasura graphql server 集成gitlab

摘要：默认官方是提供了gitlab 集成的demo的，但是因为gitlab 一些版本的问题，跑起来总有问题，所以查找相关资料测试了一个可以运行的版本项目使用docker-compose 运行参考 https://github.com/Trantect/docker-compose.yamls 环境准阅读全文

posted @ 2018-10-20 10:40 荣锋亮阅读(427) 评论(0) 推荐(0) 编辑

dbt 基本试用

摘要： dbt 是一个很不错的进行etl 中的t 处理的工具，灵活简单，我们需要写的就是select 语句 dbt 帮助我们进行处理测试集成了graphql 以及使用docker 运行安装 pip install dbt 创建简单demo 使用dbt 处理 dbt init demoapp 配置prof 阅读全文

posted @ 2018-10-19 11:08 荣锋亮阅读(3077) 评论(0) 推荐(0) 编辑

dbt- 数据构建工具

摘要： dbt（数据构建工具）是一个命令行工具，只需编写select语句即可转换仓库中的数据。 dbt处理将这些select语句转换为表和视图。DBT帮助做T的ELT（提取，加载和转换）的过程-它不提取或加载数据，但它是在改造一个已经加载到你的仓库中的数据非常好。参考资料 https://docs.ge 阅读全文

posted @ 2018-10-18 11:34 荣锋亮阅读(2995) 评论(0) 推荐(0) 编辑

使用just-api 进行接口测试

摘要： just-api 是基于配置的测试，同时支持基于jsonpath jsonschema 的数据校验，对于数据的请求只集成hook，支持测试失败重试、测试报告、graphql api 测试。。。。使用docker-compose 运行项目初始化参考项目 https://github.com/r 阅读全文

posted @ 2018-10-17 08:26 荣锋亮阅读(539) 评论(0) 推荐(0) 编辑

开源泛域名服务xip.io部署试用

摘要： xip.io 是一个很方便的泛域名服务，类似的有一个xip.name 的开源实现下载 go get github.com/peterhellberg/xip.name 启动二进制包在GOPATH/bin 格式 xip.name -fqdn <FQDN> -ip <FQDN IP addredd> 阅读全文

posted @ 2018-10-16 13:47 荣锋亮阅读(3605) 评论(0) 推荐(0) 编辑

yugabyte 集成JanusGraph测试

摘要： yugabyte 集成图数据库JanusGraph,原理比较简单就是yugabyte 内置Cassandra，配置好JanusGraph 的访问就可以了。使用docker 模式部署创建yugabyte 集群（docker cli ）下载部署工具 mkdir ~/yugabyte && cd ~ 阅读全文

posted @ 2018-10-15 15:12 荣锋亮阅读(792) 评论(0) 推荐(0) 编辑

flynn 开源paas 平台安装试用

摘要： flynn 是一个不错的开源paas 平台，基于git 以及容器技术，开发模型与 heroku 基本一样，同时构建方式就是基于heroku 的buildpacks 安装官方文档提示说明是ubuntu 操作系统16 以及14 ，所以安装就试用ubuntu了 shell sudo bash < <(c 阅读全文

posted @ 2018-10-13 22:46 荣锋亮阅读(1828) 评论(0) 推荐(0) 编辑

一个不错的nomad raw_exec && docker 运行例子（集成访问网关）

摘要： github 上有一个关于nomad up && runing 不错的项目，包含了一个tomcat 应用的部署，以及基于容器运行的网关服务项目参考地址 https://github.com/grove-mountain/nomad-up-and-running 环境准备安装nomad consu 阅读全文

posted @ 2018-10-12 10:28 荣锋亮阅读(1119) 评论(0) 推荐(0) 编辑

graphql elasticsearch 集成试用

摘要： graphql 是很方便的api 查询语言，elasticsearch 可以方便的进行全文检索的应用开发有一个方便的npm 包graphql-compose-elasticsearch 可以进行es 的查询测试使用docker 运行,参考代码https://github.com/rongfeng 阅读全文

posted @ 2018-10-11 19:26 荣锋亮阅读(1973) 评论(0) 推荐(0) 编辑

git server side hook 试用

摘要： git 的hook 是一个很方便的功能，我们可以使用hook 做好多处理，比如client side hook 进行提交格式校验，server side 进行ci/cd 处理测试使用docker-compose 运行 git server 使用gogs 环境准备 docker-compose v 阅读全文

posted @ 2018-10-10 22:02 荣锋亮阅读(938) 评论(0) 推荐(0) 编辑

12 Factor CLI Apps

摘要： CLIs are a fantastic way to build products. Unlike web applications, they take a small fraction of the time to build and are much more powerful. With 阅读全文

posted @ 2018-10-09 15:35 荣锋亮阅读(283) 评论(0) 推荐(0) 编辑

oclif cli app开发简单试用

摘要： oclif 是heroku 开源的cli 开发框架，有一篇关于12 factor cli app 开发的文章很值得看看 https://medium.com/@jdxcode/12-factor-cli-apps-dd3c227a0e46 创建简单单行命令行工具使用npx npx oclif si 阅读全文

posted @ 2018-10-09 14:50 荣锋亮阅读(1224) 评论(0) 推荐(0) 编辑

jaeger 使用ElasticSearch 作为后端存储

摘要： jaeger 支持es 作为后端存储，这样对于查询、以及系统扩展是比较方便的使用docker-compose 运行环境准备参考项目： https://github.com/rongfengliang/nginx-opentracing-demo docker-compose file vers 阅读全文

posted @ 2018-10-08 16:17 荣锋亮阅读(3906) 评论(0) 推荐(0) 编辑

nginx-opentracing 简单使用

摘要： nginx 的日常的应用开发中占比还是比较高的，opentracing 是一个分布式追踪标准相应是开源实现也比较多。nginx-opentracing 是一个opentracing nginx 的插件，让我们可以方便的进行服务的性能追踪，查看服务调用依赖例子使用官方demo，运行使用docke 阅读全文

posted @ 2018-10-08 10:07 荣锋亮阅读(2260) 评论(3) 推荐(0) 编辑

hasura graphql server 集成gatsby

摘要： hasura graphql server 社区基于gatsby-source-graphql 开发了gatsby-postgres-graphql 插件，可以快速的开发丰富的网站基本使用安装hasura graphql server 我使用的Heroku 已经部署好了 https://ron 阅读全文

posted @ 2018-09-30 09:47 荣锋亮阅读(398) 评论(0) 推荐(0) 编辑

nuclio kubernetes 部署

摘要：一张参考架构图：从图中可以看到nuclio可以运行到docker 以及kubernetes中提供了kubernetes 部署的脚本安装创建命名空间 kubectl create namespace nuclio rbac 创建 kubectl apply -f https://raw.git 阅读全文

posted @ 2018-09-29 14:47 荣锋亮阅读(1204) 评论(0) 推荐(0) 编辑

nuclio dokcer 运行测试

摘要： nuclio serverless 平台，可以方便的进行实时事件以及数据处理应用的开发 dcoker 运行启动 docker run -d -p 8070:8070 -v /var/run/docker.sock:/var/run/docker.sock -v /tmp:/tmp nuclio/d 阅读全文

posted @ 2018-09-29 12:56 荣锋亮阅读(898) 评论(0) 推荐(0) 编辑

vault 集群搭建（active standby 模式)

摘要：参考架构图： consul server cluster 搭建 consul 基本配置格式 { "server": true, "node_name": "$NODE_NAME", "datacenter": "dc1", "data_dir": "$CONSUL_DATA_PATH", "bind 阅读全文

posted @ 2018-09-28 14:54 荣锋亮阅读(1732) 评论(0) 推荐(0) 编辑

Vault 0.10包含了web ui

摘要： Vault 是一个很不错的访问控制，secret api key 管理工具新的0.10 有好多新的功能的添加，最棒的是有一个web ui 了包含的新特性如下： K/V Secrets Engine v2 with Secret Versioning: Vault's Key-Value Secr 阅读全文

posted @ 2018-09-28 09:05 荣锋亮阅读(465) 评论(0) 推荐(0) 编辑

stenciljs 学习十三 @stencil/router 组件使用说明

摘要： @stencil/router 组件包含的子组件 stencil-router stencil-route-switch stencil-route stencil-route-link stencil-route-redirect stencil-route-title stencil-route 阅读全文

posted @ 2018-09-27 15:23 荣锋亮阅读(597) 评论(0) 推荐(0) 编辑

stenciljs 学习十二官方doc 路由使用的例子

摘要：路由在单页面应用开发中是一个相对比较重要的位置以下为官方网站的路由配置 <stencil-router scrollTopOffset={0}> <stencil-route-switch> <stencil-route url="/" component="landing-page" exact 阅读全文

posted @ 2018-09-27 10:57 荣锋亮阅读(353) 评论(0) 推荐(0) 编辑

stenciljs 学习十一 pwa 支持

摘要： stenciljs 对于pwa 的支持是自动注入的，我们只需要简单的配置，stenciljs使用workbox 配置默认配置 { skipWaiting: true, clientsClaim: true, globPatterns: [ '**/*.{js,css,json,html,ico,p 阅读全文

posted @ 2018-09-27 09:10 荣锋亮阅读(311) 评论(0) 推荐(0) 编辑

stenciljs 学习十服务器端渲染

摘要： stenciljs提供了 ssr 支持，对于express 最简单的就是使用提供的中间件 express 集成 const express = require('express'); const stencil = require('@stencil/core/server'); // create 阅读全文

posted @ 2018-09-27 08:59 荣锋亮阅读(419) 评论(0) 推荐(0) 编辑

stenciljs 学习九使用jsx

摘要：可以使用jsx 方便组件的开发基本格式主要是render 函数 class MyComponent { render() { return ( <div> <h1>Hello World</h1> <p>This is JSX!</p> </div> ); } } 数据绑定 render() { 阅读全文

posted @ 2018-09-27 08:54 荣锋亮阅读(532) 评论(0) 推荐(0) 编辑

stenciljs 学习八组件测试

摘要：测试对于框架来说比较重要，对于web 组件的测试同样很重要，类似的jest 很方便，stenciljs也是基于jest 开发的包含两个核心api render(), flush() 测试配置 package.json 配置 "devDependencies": { ... "@types/jest 阅读全文

posted @ 2018-09-27 08:53 荣锋亮阅读(357) 评论(0) 推荐(0) 编辑

stenciljs 学习七路由

摘要： stenciljs路由类似react router 安装 npm install @stencil/router --save 使用导入包 import "@stencil/router" 添加路由组件配置包含的组件 stencil-router 项目中应该只有一个模板路由器组件。此组件控制与浏阅读全文

posted @ 2018-09-27 08:52 荣锋亮阅读(412) 评论(0) 推荐(0) 编辑

stenciljs 学习六组件开发样式指南

摘要：组件不是动作，最好使用名词而不是动词，文件结构每个文件一个组件。每个目录一个组件。虽然将类似的组件分组到同一目录中可能是有意义的，但我们发现当每个组件都有自己的目录时，更容易记录组件。实现（.tsx）和组件的样式应该位于同一目录中。参考格式 ├── card │ ├── card.ios. 阅读全文

posted @ 2018-09-26 23:21 荣锋亮阅读(519) 评论(0) 推荐(0) 编辑

stenciljs 学习五事件

摘要：组件可以使用Event Emitter装饰器发送数据和事件。 Event 定义参考： import { Event, EventEmitter } from '@stencil/core'; ... export class TodoList { @Event() todoCompleted: E 阅读全文

posted @ 2018-09-26 23:04 荣锋亮阅读(617) 评论(0) 推荐(0) 编辑

stenciljs 学习四组件装饰器

摘要： stenciljs 可以方便的构建交互式组件支持以下装饰器 component prop watch state method element component 说明 component 包含tag styleUrl 参数 tag 定义组件的名称，注意需要使用-连接， styleUrl 指定组件阅读全文

posted @ 2018-09-26 22:20 荣锋亮阅读(1196) 评论(0) 推荐(0) 编辑

stenciljs 学习三组件生命周期

摘要： stenciljs 组件包含好多生命周期方法， will did load update unload 实现生命周期的方法比价简单类似 componentWillLoad 。。。。，使用typescript 比较方便，实现接口就可以了参考实现 import { Component, Prop,Co 阅读全文

posted @ 2018-09-26 21:32 荣锋亮阅读(602) 评论(0) 推荐(0) 编辑

导航

公告