07 2019 档案

genie 来自netflix 的分布式大数据调度服务
摘要:Genie是Netflix开发的联合作业编排引擎。Genie提供REST-ful API来运行各种大数据工作,如Hadoop,Pig,Hive,Spark,Presto,Sqoop等。它还提供用于管理许多分布式处理集群的元数据以及在其上运行的命令和应用程序的API。 说明 官方同时也提供了docke 阅读全文

posted @ 2019-07-31 08:49 荣锋亮 阅读(882) 评论(0) 推荐(0) 编辑

proxysql 学习二 admin-web 启用
摘要:proxysql 从1.4.4 开始内置了一个简单的http server,可以方便进行状态信息的查看,今天在 尝试通过配置参数以及update global_variables 没有生效,set 也没有生效,后边通过直接 修改proxysql sqlite 数据库成功,以下记录下 docker-c 阅读全文

posted @ 2019-07-30 16:38 荣锋亮 阅读(1094) 评论(0) 推荐(0) 编辑

proxysql 学习一 proxysql docker 运行试用
摘要:proxysql 是一个比较强大的mysql proxy 服务,支持动态mysql 实例调整,查询重写,查询cache,监控,数据镜像,读写分离 以及ha,最近已经发布了2.0 ,很值得试用下 环境准备 docker-compose 文件 version: "3" services: mysql: 阅读全文

posted @ 2019-07-30 09:26 荣锋亮 阅读(1543) 评论(0) 推荐(0) 编辑

telegraf 学习三 telegra inputs.net_response + smtp2http+ grafana 进行tcp服务状态监控
摘要:以下演示一个简单的使用telegra inputs.net_response 进行tcp 服务状态的监控,统计集成grafana 的alert 为了方便使用了一个smtp2http 的服务,对于http 的webhook 使用benthos 环境准备 项目使用docker-compose 运行,配置 阅读全文

posted @ 2019-07-29 14:19 荣锋亮 阅读(2057) 评论(0) 推荐(0) 编辑

telegraf 学习二 几个概念
摘要:telegraf 自身包好了自己处理metrics 的数据模型,以及出炉方法 metrics Telegraf指标是用于在处理期间对数据建模的内部表示。这些指标完全基于InfluxDB的数据模型,包含四个主要组件: 度量名称:度量标准的描述和命名空间。 标签:键/值字符串对,通常用于标识度量标准。 阅读全文

posted @ 2019-07-28 10:17 荣锋亮 阅读(1673) 评论(0) 推荐(0) 编辑

telegraf 学习一 基本安装
摘要:telegraf 是influxdata 开发的一个插件驱动的服务器代理,可以方便的用来收集以及报告系统的metrics 我使用mac 系统,测试安装使用了brew 安装 下载地址 说明官方也提供了mac版本 说明官方也提供了mac版本 https://github.com/influxdata/t 阅读全文

posted @ 2019-07-27 23:46 荣锋亮 阅读(2393) 评论(0) 推荐(0) 编辑

nginx syslog 配置
摘要:以下是一个简单的实践,主要是打算测试nginx 与graylog 的集成,为了简单都是使用容器运行的,同时也测试了 nginx 对于配置多个access_log 的处理 环境准备 docker-compose 文件 version: "3" services: log: image: openres 阅读全文

posted @ 2019-07-26 16:55 荣锋亮 阅读(1788) 评论(0) 推荐(0) 编辑

通过granfana 以及prometheus 比较zulu 、oracle、openjdk 等jvm 运行
摘要:说明,此测试不完备,只是一个简单的集成,详细的需要进行jvm 参数的调整 环境准备 参考项目 https://github.com/rongfengliang/zulu-openjdk-openjdk-oracle-jdk 简单webapi spring boot 集成了prometheus,详细代 阅读全文

posted @ 2019-07-25 20:30 荣锋亮 阅读(6422) 评论(0) 推荐(1) 编辑

关于新版本cube.js 集成preosto 的一个说明
摘要:实际上cubejs cli 是可以使用的,只是官方文档对于dbtype 说明的问题 使用如下命令我们可以创建prestodb 的基本项目 cubejs create -d prestodb mydemo cubejs create -d prestodb mydemo cubejs create - 阅读全文

posted @ 2019-07-24 18:40 荣锋亮 阅读(896) 评论(0) 推荐(0) 编辑

cube.js 新版本试用preosto
摘要:cube.js 新的版本添加了更多的数据库的支持,但是目前cubejs-cli 以及官方文档问题还挺多,使用不清晰,文档有明显的错误 以下演示presto 数据库的使用 环境准备 安装新版本的cubejs-cli npm install -g cubejs-cli npm install -g cu 阅读全文

posted @ 2019-07-24 16:58 荣锋亮 阅读(525) 评论(0) 推荐(0) 编辑

关于redash 自定义可视化以及query runner 开发的几篇文章
摘要:以下是几篇关于如如何编码redash 自定义可视化插件以及query runner 的连接,很有借鉴价值 参考连接 https://discuss.redash.io/t/how-to-create-new-visualization-types-in-redash/86/2 https://dis 阅读全文

posted @ 2019-07-24 13:43 荣锋亮 阅读(1520) 评论(0) 推荐(0) 编辑

通过redash query results 数据源实现跨数据库的查询
摘要:redash 提供了一个简单的 query results 可以帮助我们进行跨数据源的查询处理 底层数据的存储是基于sqlite的,期望后期有调整(毕竟处理能力有限),同时 query results 也提供了cache 的功能,可以加速数据的查询处理 约定 query results 创建 que 阅读全文

posted @ 2019-07-24 13:26 荣锋亮 阅读(3710) 评论(0) 推荐(0) 编辑

cube.js 最近版本的一些更新
摘要:有一段时间没有关注cube.js 了,刚好晚上收到一封来自官方的更新介绍,这里简单说明下 更多的数据驱动支持 bigquey, clickhouse snowflake,presto (很棒),hive,oracle 支持的完整列表在docs 开发这的playground 有了很多的提升,可以查看查 阅读全文

posted @ 2019-07-23 23:25 荣锋亮 阅读(459) 评论(0) 推荐(0) 编辑

zeebe 0.20.0 集群部署试用
摘要:zeebe 0.20.0 是生产可用的第一个版本,同时也有好多变动,以下是一个简单集群的运行以及一个简单 的运行说明 环境准备 docker-compose 文件 version: "3" services: db: image: 1000kit/h2 container_name: zeebe_d 阅读全文

posted @ 2019-07-23 23:05 荣锋亮 阅读(1842) 评论(2) 推荐(0) 编辑

redash oracle 数据源docker 镜像
摘要:redash 官方的docker 镜像是没有包含oracle的,需要我们自己添加,参考了一个docker 镜像进行了简单的修改 Dockerfile FROM redash/redash:7.0.0.b18042 ​ USER root ​ # Oracle instantclient ADD or 阅读全文

posted @ 2019-07-23 20:31 荣锋亮 阅读(1521) 评论(0) 推荐(0) 编辑

使用jmx-exporter&&jmxtrans && nexus jmx 暴露nexus 系统指标信息
摘要:以下演示一个简单的使用jmxexporter 暴露nexus jmx 指标为prometheus metrics,同时也集成了一个简单的jmxtrans 输出数据到 graphite 环境准备 docker-compose 文件 version: "3" services: graphite: im 阅读全文

posted @ 2019-07-22 14:45 荣锋亮 阅读(1163) 评论(0) 推荐(0) 编辑

jmxtrans docker-compose 运行
摘要:以下是一个简单的demo,使用jmxtrans 进行jmx 指标的处理,项目使用docker-compose 运行 同时写入数据到graphite 环境准备 docker-compose文件 version: "3" services: graphite: image: graphiteapp/gr 阅读全文

posted @ 2019-07-22 02:18 荣锋亮 阅读(536) 评论(0) 推荐(0) 编辑

jaeger使用yugabyte作为后端存储的尝试以及几个问题
摘要:前边写过使用scylladb 做为jaeger 的后端存储,还是一个不错选择的包括性能以及 兼容性,对于 yugabyte 当前存在兼容性的问题,需要版本的支持,或者尝试进行一些变动 create 语法的处理 逗号 CREATE TYPE IF NOT EXISTS ${keyspace}.keyv 阅读全文

posted @ 2019-07-20 22:38 荣锋亮 阅读(1047) 评论(0) 推荐(0) 编辑

openjdk k8s port-forward 连接容器jmx服务
摘要:jmx 是java 自带的,如果需要使用我们只需要添加对应的配置即可,以下演示docker 集成jmx 使用kompose 生成k8s 的部署文件,使用port-forward 进行连接,所以java.rmi.server.hostname=localhost 环境准备 参考github 项目 ht 阅读全文

posted @ 2019-07-19 23:29 荣锋亮 阅读(1366) 评论(0) 推荐(0) 编辑

scylladb docker-compose 用户密码认证配置
摘要:scylladb 对于用户的认证配置还是比较简单的,以下是一个docker-compose 配置的说明 环境准备 docker-compose 文件 version: "3" services: scylladb: image: scylladb/scylla command: --authenti 阅读全文

posted @ 2019-07-18 20:19 荣锋亮 阅读(1416) 评论(0) 推荐(0) 编辑

jaeger 使用scylladb作为后端存储
摘要:scylladb 是一个不错的apache Cassandra 替代,而且兼容很不错,今天在尝试过yugabyte 之后放弃了,因为在进行jaeger 创建 Cassandra schema 的时候碰到各种问题(可能兼容还是少有问题),试用之后发现很不错,没有碰到错误,以下是一个演示环境 使用了do 阅读全文

posted @ 2019-07-18 15:19 荣锋亮 阅读(1492) 评论(0) 推荐(0) 编辑

zeebe 0.20.0 发布生产可用了!
摘要:一个比较好消息,来自camunda zeebe 团队的消息,zeebe 0.20.0 发布,终于可以生产可用了 如果关注了官方的声明的话,同时团队也出了一个自己的许可协议,但是和大部分当前的开源 产品修改许可协议是类似的(限制云服务) 相关变更(0.20.0) 说明看0.19.0 的changlog 阅读全文

posted @ 2019-07-17 22:08 荣锋亮 阅读(891) 评论(0) 推荐(0) 编辑

手工部署yugabyte的几点说明
摘要:ntp 时间同步 ntp 时间同步对于yugabyte 是一个比较重要的服务,需要注意时间的同步 YB-Master 个数的说明 原则 YB-Master 的个数,必须和复制因子的个数一样,同时master_addresss 地址的个数必须和复制因子一样 参考 比如4个node 的集群,复制因子为3 阅读全文

posted @ 2019-07-17 16:27 荣锋亮 阅读(1191) 评论(0) 推荐(0) 编辑

yugabyte docker-compose 运行试用
摘要:以前运行yugabyte 使用的是yb-docker-ctl,现在直接可以方便的使用docker-compose 运行了 pull image docker pull yugabytedb/yugabyte docker pull yugabytedb/yugabyte docker pull yu 阅读全文

posted @ 2019-07-17 15:51 荣锋亮 阅读(874) 评论(0) 推荐(1) 编辑

Why We Changed YugaByte DB Licensing to 100% Open Source
摘要:转自:https://blog.yugabyte.com/why-we-changed-yugabyte-db-licensing-to-100-open-source/ 主要说明了YugaByte 100%开源的原因,以及与 其他开源软件的比较 We are excited to announce 阅读全文

posted @ 2019-07-17 09:13 荣锋亮 阅读(415) 评论(0) 推荐(0) 编辑

dbt 集成presto试用
摘要:dbt 团队提供了presto 的adapter同时也是一个不错的的参考实现,可以学习 当前dbt presto 对于版本的要求是0.13.1 对于当前最新版本的还不支持,同时需要使用源码安装pip 包 dbt presto pip 包安装 clone 代码包 git clone https://g 阅读全文

posted @ 2019-07-11 16:40 荣锋亮 阅读(718) 评论(0) 推荐(0) 编辑

dbt 0.14.0 试用
摘要:dbt 0.14.0 在最近已经发布了,dbt server 的还是很不错的特性,以下安装试用下几个新功能 环境准备 安装 如果没有安装的: pip install dbt 已经安装的: pip install -U dbt 如果没有安装的: pip install dbt 已经安装的: pip i 阅读全文

posted @ 2019-07-11 15:08 荣锋亮 阅读(814) 评论(0) 推荐(0) 编辑

dbt 0.14.0 发布
摘要:以下内容来自官方博客,新的功能还是很不错的,后边尝试使用下。 参考资料:https://blog.fishtownanalytics.com/dbt-v0-14-0-better-serving-our-users-bf7cdbbcd5d2 Introducing dbt v0.14.0 Today 阅读全文

posted @ 2019-07-11 08:55 荣锋亮 阅读(659) 评论(0) 推荐(0) 编辑

presto docker简单试用
摘要:starburstdata 团队提供了一个docker 版本的presto,其中已经内置了几个connectors tpch tpcds memory backhole jmx system pull docker images 镜像稍大,最好使用加速 docker pull starburstda 阅读全文

posted @ 2019-07-10 15:39 荣锋亮 阅读(2796) 评论(0) 推荐(0) 编辑

使用nginx 正向代理暴露k8s service && pod ip 外部直接访问
摘要:有时在我们的实际开发中我们希望直接访问k8s service 暴露的服务,以及pod的ip 解决方法,实际上很多 nodeport ingress port-forword 实际上我们还有一种方法:正向代理 nginx 正向代理配置 为了简单,只处理http 流量,实际上我们可以基于envoy 搞这 阅读全文

posted @ 2019-07-08 23:35 荣锋亮 阅读(4494) 评论(0) 推荐(0) 编辑

集成omnibus-ctl+ chef 制作一个可配置的软件包
摘要:前边有写过使用omnibus-ctl 制作软件包的,但是当时没有集成chef,只有一个空壳子,实际上omnibus-ctl 已经内置 了对于chef 的操作(但是我们还需要在添加一个依赖),以下简单说明两者如何进行集成 demo 是一个类似gitlab-ctl 的操作,但是只有一个简单的cookbo 阅读全文

posted @ 2019-07-06 20:58 荣锋亮 阅读(431) 评论(0) 推荐(0) 编辑

chef test-kitchen Could not load the 'vagrant' driver from the load path 问题解决
摘要:今天使用chef 的kitchen,运行kitchen list 发现了如下错误: >>>>>> Exception >>>>>> Class: Kitchen::ClientError >>>>>> Message: Could not load the 'vagrant' driver from 阅读全文

posted @ 2019-07-04 19:26 荣锋亮 阅读(389) 评论(0) 推荐(0) 编辑

nexus 3.17.0 做为golang 的包管理工具
摘要:nexus 3.17.0 新版本对于go 包管理的支持是基于go mod 的,同时我们也需要一个athens server 然后在nexus 中配置proxy 类型的repo 参考配置 来自官方的配置图 说明 就和上边说的一样,我们需要一个athens server,nexus 对于go mod 的 阅读全文

posted @ 2019-07-03 09:45 荣锋亮 阅读(3622) 评论(0) 推荐(0) 编辑

nexus 3.17.0 简单试用
摘要:老样子,使用docker-compose 运行 环境准备 docker-compose 文件 version: "3" services: nexus: image: sonatype/nexus3:3.17.0 ports: - "8081:8081" volumes: - "./nexus-da 阅读全文

posted @ 2019-07-02 23:53 荣锋亮 阅读(963) 评论(0) 推荐(0) 编辑

nexus 3.17.0 简单说明
摘要:nexus 在6.24 发布了3.17.0 ,同时包含了好多新的特性 以下为一些主要变动: routing rules 可以增强repo 的安全 apt repo 格式的支持 可以方便的为ubuntu 等基于apt 的包管理处理 go repo 支持 可以支持golang 包的管理了 一个参考配置 阅读全文

posted @ 2019-07-02 21:00 荣锋亮 阅读(1161) 评论(0) 推荐(0) 编辑

Building a Service Mesh with HAProxy and Consul
摘要:转自:https://www.haproxy.com/blog/building-a-service-mesh-with-haproxy-and-consul/ HashiCorp added a service mesh feature to Consul, its service-discove 阅读全文

posted @ 2019-07-02 08:59 荣锋亮 阅读(434) 评论(0) 推荐(0) 编辑

Using HAProxy as an API Gateway, Part 3 [Health Checks]
摘要:转自:https://www.haproxy.com/blog/using-haproxy-as-an-api-gateway-part-3-health-checks/ Achieving high availability rests on having good health checks. 阅读全文

posted @ 2019-07-02 08:57 荣锋亮 阅读(537) 评论(0) 推荐(0) 编辑

Using HAProxy as an API Gateway, Part 2 [Authentication]
摘要:转自:https://www.haproxy.com/blog/using-haproxy-as-an-api-gateway-part-2-authentication/ HAProxy is a powerful API gateway due to its ability to provide 阅读全文

posted @ 2019-07-02 08:56 荣锋亮 阅读(422) 评论(0) 推荐(0) 编辑

Using HAProxy as an API Gateway, Part 1 [Introduction]
摘要:转自:https://www.haproxy.com/blog/using-haproxy-as-an-api-gateway-part-1/ An API gateway handles load balancing, security, rate limiting, monitoring, an 阅读全文

posted @ 2019-07-02 08:54 荣锋亮 阅读(443) 评论(0) 推荐(0) 编辑

cjss 像编写css 一样开发web应用
摘要:cjss 提供了使用类似css 的方式编写web 应用 cjss 包含的阶段 data prepare body element 几点说明 并不是所以阶段必须使用,但是每个级别只能存在一个script json 支持存在data 阶段 html 只能用在body 阶段,可以通过字符插值处理模板数据绑 阅读全文

posted @ 2019-07-02 08:41 荣锋亮 阅读(375) 评论(0) 推荐(0) 编辑

GitLab : Omnibus Installer
摘要:转自:https://www.ibm.com/developerworks/community/blogs/2280dc86-a78a-441b-89d7-5b4c41595852/entry/GitLab_HA_1_Omnibus?lang=en 主要介绍gitlab omnibus 包的构建,尽 阅读全文

posted @ 2019-07-01 15:23 荣锋亮 阅读(385) 评论(0) 推荐(0) 编辑

集成omnibus-ctl 开发一个专业的软件包管理工具
摘要:前边有转发过来自chef 团队的一篇omnibus-ctl 介绍文章,以下尝试进行项目试用 就是简单的集成,没有多少复杂的操作 环境准备 ruby ruby 使用2.6.3 使用 rbenv 安装,可以参考rbenv mac&&linux 安装简单说明 bundle bundler 的安装可以直接使 阅读全文

posted @ 2019-07-01 15:07 荣锋亮 阅读(878) 评论(0) 推荐(0) 编辑

Chocolatey 方便的windows 包管理工具
摘要:windows 在包管理上一般大家都是网上下载二进制文件或者就是通过软件管家进行安装,这些对于开发人员可能就有点不是 很专业了, Chocolatey 是一个不错的windows 软件包管理工具 安装 注意安装的时候必须使用的是管理员权限 Chocolatey 官方文档已经很全了,给我们提供了下线以 阅读全文

posted @ 2019-07-01 09:52 荣锋亮 阅读(739) 评论(0) 推荐(0) 编辑

导航