上一页 1 ··· 80 81 82 83 84 85 86 87 88 ··· 125 下一页

2019年6月13日

pgloader 学习（五）pgloader 参考手册

摘要： pgloader将各种来源的数据加载到PostgreSQL中。它可以转换动态读取的数据，并在加载前后提交原始SQL。 它使用COPY PostgreSQL协议将数据流式传输到服务器，并通过填充一对reject.dat和reject.log文件来管理错误 pgloader 的操作，可以使用命令行参数， 阅读全文

posted @ 2019-06-13 14:48 荣锋亮 阅读(4280) 评论(0) 推荐(0) 编辑

pgloader 学习（四）一些简单操作例子

摘要： 上边已经说明了pgloader 的基本使用（篇理论），但是对于实际操作偏少，以下是一个简单的操作 不像官方文档那样，我为了方便，直接使用docker-compose 运行，同时这个环境，会在后边大部分场景使用,同时 对于pgloader 的dsl暂时不会仔细说明，后边会有介绍 环境准备 docker 阅读全文

posted @ 2019-06-13 11:13 荣锋亮 阅读(1720) 评论(0) 推荐(0) 编辑

pgloader 学习（三）快速使用

摘要： pgloader 支持多种数据源数据的加载，以下列出简单的操作命令，后边会有详细的使用说明 csv 格式内容加载 预备说明 需要先在pg 数据库创建表 create table districts_longlat ( usps text, geoid text, aland bigint, awat 阅读全文

posted @ 2019-06-13 09:44 荣锋亮 阅读(1267) 评论(0) 推荐(0) 编辑

pgloader 学习（二）特性矩阵&&命令行

摘要： pgloader 对于各种数据库支持的还是很完整的，同时有一套自己的dsl 特性矩阵 操作命令 命令格式 pgloader [<options>] [<command-file>]... pgloader [<options>] SOURCE TARGET pgloader [<options>] 阅读全文

posted @ 2019-06-13 09:24 荣锋亮 阅读(559) 评论(0) 推荐(0) 编辑

pgloader 学习（一）支持的特性

摘要： pgloader 是一个不错的多种格式数据同步到pg 的工具，pgloader 使用postrgresql 的copy 协议进行高效的数据同步处理 特性 加载文件到内容pg 多种数据源格式的支持 csv、fixed 列、dbase、sqlte、ibm ixf、postgresql、mysql、sql 阅读全文

posted @ 2019-06-13 09:19 荣锋亮 阅读(632) 评论(0) 推荐(0) 编辑

2019年6月12日

使用readthedocs 发布 sphinx doc文档

摘要： readthedocs 是由社区驱动的开源sphinx doc 托管服务，我们可以用来方便的构建以及发布文档 这是一个简单的demo 项目，使用了用的比较多的sphinx_rtd_theme 主题，主要是试用 注册账户 sphinx 文档需要让readthedocs 托管，我们需要一个账户，注册地址 阅读全文

posted @ 2019-06-12 10:55 荣锋亮 阅读(2158) 评论(0) 推荐(0) 编辑

pgloader 方便的数据迁移工具

摘要： pgloader 是一个支持多种数据源迁移到pg 数据库的工具，高性能，使用灵活同时作者 也提供了docker 版本的镜像，今年3月份使用此工具的时候，发现好久都没更新了，但是 最近作者有了新版本的发布，同时支持pg to pg，修复了部分bug，同时也有了新的官方 文档。 同时作者提出的Conti 阅读全文

posted @ 2019-06-12 10:00 荣锋亮 阅读(733) 评论(0) 推荐(0) 编辑

circus && web comsole docker-compose 独立部署web console 的一个bug

摘要： 如果直接使用以下的docker-compose 文件部署会有通过多播通信获取endpoint 异常的问题（circus 在stats endpoint 获取少了一个c） 这个问题是部分网络情况下会出现（多播包异常） version: "3" services: circus: image: dalo 阅读全文

posted @ 2019-06-12 08:52 荣锋亮 阅读(398) 评论(0) 推荐(0) 编辑

2019年6月11日

circus security 来自官方的安全建议

摘要： 转自：https://circus.readthedocs.io/en/latest/design/security/ Circus is built on the top of the ZeroMQ library and comes with no security at all in its 阅读全文

posted @ 2019-06-11 14:00 荣锋亮 阅读(244) 评论(0) 推荐(0) 编辑

circus && web comsole docker-compose 独立部署

摘要： 问题的根本原因是web console 的bug（实际上还是python 对于依赖版本出来不明确） circus 进程docker 镜像 dockerfile FROM python:slim-stretch LABEL AUTHOR="dalongrong" LABEL EMAIL="114159 阅读全文

posted @ 2019-06-11 13:54 荣锋亮 阅读(432) 评论(0) 推荐(0) 编辑

2019年6月10日

circus web console 依赖tornado>3.2 无法访问的bug

摘要： circus web console 是一个很不错的web 监控circus 工具，但是对于高版本一直存在一个bug 信息如下 Traceback (most recent call last): File "/usr/local/lib/python2.7/dist-packages/tornad 阅读全文

posted @ 2019-06-10 21:09 荣锋亮 阅读(432) 评论(0) 推荐(0) 编辑

circus 做为批处理的守护进程

摘要： circus 是集成了zeromq，使用python编写的一个进程以及socket 管理工具，使用circus 的进程管理，我们可以用来进行批任务的 处理，同时又能保证任务的准确 项目使用docker+ docker-compose 运行 案例 简单原理说明 就是一个简单的worker 分了三个，通 阅读全文

posted @ 2019-06-10 19:26 荣锋亮 阅读(1000) 评论(0) 推荐(0) 编辑

circus 架构

摘要： 转自官方文档：https://circus.readthedocs.io/en/latest/design/architecture/ Overall architecture Circus is composed of a main process called circusd which tak 阅读全文

posted @ 2019-06-10 18:56 荣锋亮 阅读(321) 评论(0) 推荐(0) 编辑

sphinx doc 文档生成脚手架工具

摘要： sphinx 在python 语言开发中，是一个使用的比较多文档生成脚手架工具，我们帮助我们生成 专业的帮助文档，同时也有远端的免费saas 托管服务，方便分发 安装 sphinx 的安装好多方便，mac 的可以使用brew，或者我们可以使用pip 安装,详细的可以参考官方文档 mac brew 安 阅读全文

posted @ 2019-06-10 15:29 荣锋亮 阅读(1697) 评论(0) 推荐(0) 编辑

circus docker image web 运行异常问题的解决

摘要： 经过查看官方文档，因为我使用的是python 较高版本，存在兼容问题，解决方法 修改基础镜像版本 代码如下： FROM python:2.7-slim-stretch LABEL AUTHOR="dalongrong" LABEL EMAIL="1141591465@qq.com" RUN apt- 阅读全文

posted @ 2019-06-10 10:23 荣锋亮 阅读(228) 评论(0) 推荐(0) 编辑

circus 进程以及socket 管理工具&&docker运行

摘要： circus 是由mozilla 团队开发基于python 以及zeromq 的进程以及socket 管理的工具，类似supervisord 但是比supervisord 更灵活方便 来自官方的使用比较 supervisord的 来自circus 的 docker 集成shiyong 搜索docke 阅读全文

posted @ 2019-06-10 09:49 荣锋亮 阅读(743) 评论(0) 推荐(0) 编辑

a list of frequently asked questions about Circus

摘要： 转自：https://circus.readthedocs.io/en/latest/faq/，可以帮助我们了解circus 的使用，以及问题解决 How does Circus stack compare to a classical stack? In a classical WSGI stac 阅读全文

posted @ 2019-06-10 09:29 荣锋亮 阅读(284) 评论(0) 推荐(0) 编辑

2019年6月9日

python 微服务开发书中几个方便的python框架

摘要： python 微服务开发是一本讲python 如果进行微服务开发的实战类书籍，里面包含了几个很不错的python 模块，记录下，方便后期回顾学习 处理并发的模块 greenlet &&gevent twisted && tornado asyncio web api 模块 当然有好多可以使用的，只记 阅读全文

posted @ 2019-06-09 08:39 荣锋亮 阅读(7680) 评论(0) 推荐(0) 编辑

2019年6月8日

Collecting metrics with the PostgreSQL and TimescaleDB output plugin for Telegraf

摘要： 转自：https://docs.timescale.com/v1.3/tutorials/telegraf-output-plugin 文章演示了如何使用pg output 插件 以及Telegraf agent 获取系统信息到timescaledb，一篇不错的实践类文章 一张参考图： Telegr 阅读全文

posted @ 2019-06-08 09:00 荣锋亮 阅读(749) 评论(2) 推荐(1) 编辑

2019年6月7日

dbt 0.13.0 新添加特性sources 试用

摘要： dbt 0.13 添加了一个新的功能sources 我呢可以用来做以下事情 从基础模型的源表中进行数据选择 测试对于源数据的假设 计算源数据的freshness source 操作 定义source 模版格式 注意对于pg 等类型的，如果包含了schema 的可能需要配置额外参数，或者通过schem 阅读全文

posted @ 2019-06-07 17:48 荣锋亮 阅读(691) 评论(0) 推荐(0) 编辑

apisix 基于openresty 的api 网关

摘要： apisix 是由openresty 团队开发并开源的微服务api gateway，还不错，官方文档也比较全，同时这个也是一个不错的学习openresty 的项目 以下为来自官方的架构图 插件加载 插件结构 参考资料 https://github.com/iresty/apisix 阅读全文

posted @ 2019-06-07 09:25 荣锋亮 阅读(2737) 评论(0) 推荐(0) 编辑

2019年6月6日

A revolutionary architecture for building a distributed graph

摘要： 转自：https://blog.apollographql.com/apollo-federation-f260cf525d21 What if you could access all of your organization’s data by typing a single GraphQL q 阅读全文

posted @ 2019-06-06 12:23 荣锋亮 阅读(623) 评论(0) 推荐(0) 编辑

testinfra 基础设施测试工具

摘要： testinfra 是基于python 开发的基础设施测试工具，我们可以用来方便的测试基础设施 是否符合我们的要求（系统，软件。。。） 一个参考demo def test_passwd_file(host): passwd = host.file("/etc/passwd") assert pass 阅读全文

posted @ 2019-06-06 10:50 荣锋亮 阅读(1452) 评论(0) 推荐(0) 编辑

tox 试用

摘要： 安装 pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox tox 阅读全文

posted @ 2019-06-06 09:52 荣锋亮 阅读(1265) 评论(0) 推荐(0) 编辑

tox python项目虚拟环境管理自动化测试&&构建工具

摘要： tox 是一个方便的工具，可以帮助我们管理python 的虚拟环境，同时可以进行项目自动测试以及构建 tox 如何工作的 说明 从上图我们也可以看出如何在我们项目中使用tox 参考资料 https://github.com/tox-dev/tox https://tox.readthedocs.io 阅读全文

posted @ 2019-06-06 08:48 荣锋亮 阅读(1033) 评论(0) 推荐(0) 编辑

2019年6月5日

puppeteer 试用

摘要： puppeteer 是chrome 团队提供的Headless chrome node api 库，我们可以用来方便的进行chrome 操作，同时 可以做好多事情（web 爬虫，生成pdf，截图。。。） 安装 注意合理上网 npm i puppeteer --save npm i puppeteer 阅读全文

posted @ 2019-06-05 21:25 荣锋亮 阅读(409) 评论(0) 推荐(0) 编辑

My journey introducing the data build tool (dbt) in project’s analytical stacks

摘要： 转自：https://www.lantrns.co/my-journey-introducing-the-data-build-tool-dbt-in-projects-analytical-stacks/ Not sure I remember how, but I had the good lu 阅读全文

posted @ 2019-06-05 18:28 荣锋亮 阅读(455) 评论(0) 推荐(0) 编辑

使用singer tap-postgres 同步数据到pg

摘要： singer 是一个很不错的开源etl 解决方案，以下演示一个简单的数据从pg 同步到pg 很简单就是使用tap-postgres + target-postgres 环境准备 对于测试的环境的数据库使用docker-compose 运行 docker-compose 文件 version: "3" 阅读全文

posted @ 2019-06-05 15:07 荣锋亮 阅读(1291) 评论(1) 推荐(0) 编辑

comlink 是来自google chrome 团队的简化webwokers 开发的类库

摘要： comlink 可以帮助我们简单webworkers 的开发，同时很小（1.1kb），具体使用我们可以看下面 一张图 说明 comlink 使用起来也比较方便，官方也提供了完整的api 文档 参考资料 https://github.com/GoogleChromeLabs/comlink 阅读全文

posted @ 2019-06-05 13:45 荣锋亮 阅读(835) 评论(0) 推荐(0) 编辑

graphql-inspector graphql schema比较&&文档校验&&查找破坏性变动工具

摘要： graphql-inspector 是一个方便的graphql 周边工具，可以加速graphql 应该的开发，同时可以帮助我们排查问题 包含以下特性： 进行schema 的比较 文档校验（通过schema） 相似以及重复类型查找 查找破坏性或者危险的变动 查看基于文档的schema 覆盖率 mock 阅读全文

posted @ 2019-06-05 13:29 荣锋亮 阅读(520) 评论(0) 推荐(0) 编辑

lyft amundsen简单试用

摘要： 昨天有说过amundsen 官方为我们提供了dockerc-compose 运行的参考配置，以下是一个来自官方的 quick start clone amundsen 代码 amundsen 使用了git 子模块，同时我们运行demo，需要的项目也在里边 git clone --recurse-su 阅读全文

posted @ 2019-06-05 10:58 荣锋亮 阅读(2115) 评论(0) 推荐(0) 编辑

2019年6月4日

Prisma 2 is Coming Soon

摘要： 转自：https://www.prisma.io/blog/prisma-2-is-coming-soon-mwwfhevie993 Prisma 2 will introduce many fundamental improvements. Making the Prisma server opt 阅读全文

posted @ 2019-06-04 20:32 荣锋亮 阅读(605) 评论(0) 推荐(0) 编辑

amundsen 来自lyft 的开源数据发现平台

摘要： amundsen 是来自lyft 开源的元数据管理、数据发现平台，功能点很全，有一个比较全的前端、后端以及 数据处理框架 参考架构图 说明 从官方介绍以及github代码仓库可以看出还是比较全的整体解决方案，很值得研究学习下，同时官方提供的基于docker-compose 的可运行环境可以简化我们环 阅读全文

posted @ 2019-06-04 20:13 荣锋亮 阅读(3412) 评论(0) 推荐(0) 编辑

packr 方便的潜入静态资源文件到golang 二进制文件中

摘要： 类似的工具以前有介绍过statik，今天使用的工具是packr 也是很方便的golang tools 安装 go get -u github.com/gobuffalo/packr/packr 或者我们可以直接使用二进制文件 下载地址：https://github.com/gobuffalo/pac 阅读全文

posted @ 2019-06-04 19:27 荣锋亮 阅读(2449) 评论(0) 推荐(0) 编辑

hasura skor 构建安装

摘要： hasura skor 前边有介绍过是一个挺不错的event trigger 插件，我们可以用来进行事件通知处理 官方有提供构建的方法，但是有些还是会有点问题，所以结合构建碰到的问题，修改下 clone 代码 git clone https://github.com/hasura/skor.git 阅读全文

posted @ 2019-06-04 10:47 荣锋亮 阅读(456) 评论(0) 推荐(0) 编辑

Lightning Web Components 组件生命周期（六）

摘要： 组件创建以及渲染流程 组件移除dom 处理流程 组件从dom 移除 组件中的disconnectedCallback() 方法被调用 子组件从dom 移除 每个子组件的disconnectedCallback() 说明 详细关于回调方法的流程，可以参考官方文档 参考资料 https://lwc.de 阅读全文

posted @ 2019-06-04 09:19 荣锋亮 阅读(641) 评论(0) 推荐(0) 编辑

Lightning Web Components 组合（五）

摘要： 使用组合我们可以用来设计复杂的组件。 组合一些比较小的组件，可以增加组件的重新性以及可维护性。 通过以下一个简单的demo，将会展示关于owner 以及container 的概念，在实际的项目中 example-todo-item 一般是通过for:each 循环动态填充的 <!-- todoApp 阅读全文

posted @ 2019-06-04 09:04 荣锋亮 阅读(500) 评论(0) 推荐(0) 编辑

graphql-hooks hooks first 的graphql 客户端

摘要： graphql-hooks 是一个hooks first 的graphql 客户端，支持一一些特性 首类hooks api 比较小（5.3Kb） gzip 1.8 kb 完整支持ssr （通过graphql-hook-ssr） 插件化cache 支持（graphql-hooks-mmecache） 阅读全文

posted @ 2019-06-04 08:22 荣锋亮 阅读(357) 评论(0) 推荐(0) 编辑

2019年6月3日

Lightning Web Components 组件样式（四）

摘要： 要将样式与组件进行绑定，需要创建一个同名的样式文件，这样样式将会自动应用到组件 在组件中定义的样式的作用域是属于组件的，这样允许组件可以在不同的上下文中可以复用， 可以阻止其他组件的样式的复写 css 作用域例子 重要说明 一个组件的文件夹和文件名是骆驼的情况下，myComponent，myComp 阅读全文

posted @ 2019-06-03 12:47 荣锋亮 阅读(953) 评论(0) 推荐(0) 编辑

Lightning Web Components html_templates（三）

摘要： Lightning Web Components 强大之处在于模版系统，使用了虚拟dom 进行智能高效的组件渲染。 使用简单语法以声明方式将组件的模板绑定到组件的JavaScript类中的数据 数据绑定 我们可以使用{property} 绑定组件模版属性到一个组件js 类中的属性 一个简单的例子 组 阅读全文

posted @ 2019-06-03 10:04 荣锋亮 阅读(661) 评论(0) 推荐(0) 编辑

上一页 1 ··· 80 81 82 83 84 85 86 87 88 ··· 125 下一页

导航