几个方便的基于es 的开源文档索引系统
摘要：Apache Tika 比较有名的内容提取工具 FsCrawler 使用java 开发，内部使用了Tika Ambar nodejs，python应用开发，轻量，支持基于docker 的快速部署，同时支持各种文档类型，ocr。。。。 参考资料 https://ambar.cloud/blog/201
阅读全文
posted @ 2019-04-30 16:45
04 2019 档案
使用状态文件+vigil 监控系统状态
摘要：vigil 是一个不错的系统可用性报告系统，具有还不错的ui 界面，同时也有通知配置，以下是一个简单的 demo 使用状态文件，以及http body 匹配的模式进行web 应用状态的监控，只是简单的demo，状态的 会写可能是其他任务操作的，这个只是演示一种可行的方法 环境准备 docker-co
阅读全文
posted @ 2019-04-30 15:46
zeebe 集成elasticsearch exporter && 添加operate
摘要：zeebe 的operate是一个功能比较强大的管理工具，比simple-monitor 有好多方面上的改进 安全，支持用户账户的登陆 界面更友好，界面比较符合开团队工作流引擎的界面 系统监控更加强大，可以为我们提供比较全的系统指标 环境准备 还是老样子使用docker-compose 运行 doc
阅读全文
posted @ 2019-04-30 10:50
Distributed PostgreSQL on a Google Spanner Architecture – Storage Layer
摘要：转自：https://blog.yugabyte.com/distributed-postgresql-on-a-google-spanner-architecture-storage-layer/ In this post, we’ll dive into the architecture of
阅读全文
posted @ 2019-04-30 09:10
Distributed PostgreSQL on a Google Spanner Architecture – Query Layer
摘要：转自：https://blog.yugabyte.com/distributed-postgresql-on-a-google-spanner-architecture-query-layer/ Our previous post dived into the details of the stor
阅读全文
posted @ 2019-04-30 09:08
alicemq 方便的RabbitMQ 可视化工具
摘要：尽管RabbitMQ 自带一个管理插件，但是还不是那么强大，alicemq 是一个方便强大的可视化工具 rabbitmq 环境准备 docker-compose 文件 version: "3" services: mq: image: rabbitmq:3-management ports: - "
阅读全文
posted @ 2019-04-30 08:45
使用s3fs-fuse 挂载minio s3 对象存储
摘要：minio 是一个aws s3 兼容的对象存储系统，我们可以通过s3fs 进行数据桶的挂载，这样可以做好多方便的事情 环境准备 使用docker-compose 运行 minio docker-compose 文件 version: "3" services: s3: image: minio/mi
阅读全文
posted @ 2019-04-29 14:14
使用nginx mirror 制作nexus 的简单ha
摘要：主要是运行两台nexus 机器，通过nexus 的host 以及proxy 以及public 模型，结合nginx 的mirror 将对于host 的get 请求 mirror 到另一台机器proxy nexus 的仓库，变相的cache 需要的仓库代码。 参考架构图 来自nexus 的一个分享 说
阅读全文
posted @ 2019-04-28 22:34
nexus 数据库备份任务webhook 通知-另外一种方法
摘要：使用benthos 做为webhook，是一种方法，功能很强大，但是有点复杂，所以换了一个更简单直接的webhook 工具 根据请求的数据，只处理关于db exporter 任务部分的消息，然后就是调用shell 执行一些逻辑处理 环境处理 使用docker-compose 运行 docker-co
阅读全文
posted @ 2019-04-28 19:54
nexus 数据库备份任务webhook 通知
摘要：nexus 的数据库备份是比较重要的，可以方便我们在故障的是时候进行应用恢复。 以下使用benthos 组件进行nexus 数据库备份事件的应用通知处理 环境准备 使用docker-compose 运行 docker-compose.yaml 文件 version: "3" services: ne
阅读全文
posted @ 2019-04-28 15:11
使用dotenv 管理nodejs 应用的环境变量&&docker-compose 运行
摘要：说明dotenv 是一个很方便的符合12 factor 的环境变量管理工具，使用很方便，实际上里面的代码也不是很多 测试使用docker 进行环境部署，为了方便分发使用pkg 进行打包，使用alpine制作比较小的容器镜像 环境准备 nodejs 项目初始化 mkdirdotenv-app cd d
阅读全文
posted @ 2019-04-28 13:00
zeebe 集成elasticsearch exporter
摘要：zeebe 目前还在一直的开发中，同时一些变动还是挺大的，比如simple monitor 的以前是不需要配置HazelcastExporter的 估计是为了进行集群功能处理，新添加的，以前写的配置基本都没法使用了，所以写了一个新的运行配置 说明运行的时候注意版本，我测试的是Zeebe 0.17.0
阅读全文
posted @ 2019-04-27 08:11
Flagr 配置说明
摘要：说明文档来自官方文档 https://checkr.github.io/flagr/#/flagr_env 完整配置 包含了组件的配置参数以及说明，对于学习如何使用Flagr 还是很重要的，包含了数据库配置、jwt 安全配置、Flagr metrics 配置（对应的Recorder） 目前是kafa
阅读全文
posted @ 2019-04-26 14:38
Flagr 架构
摘要：来自官方文档 https://checkr.github.io/flagr/#/flagr_overview There are three components in the flagr, Flagr Evaluator, Flagr Manager, and Flagr Metrics. Fla
阅读全文
posted @ 2019-04-26 14:24
flagr 数据库配置
摘要：flagr 是一个很不错的特性开关、a/b 测试服务，默认使用的是sqlite 数据库，但是我们可以通过配置，使用不同的数据库 sqlite、mysql、postrgresql、json_file、json_http 说明测试都是通过docker-compose 运行 sqlite默认配置 sqli
阅读全文
posted @ 2019-04-26 14:10
uclibc,eglibc,glibc,Musl-libc之间的区别和联系
摘要：转自：https://www.sohu.com/a/164202127_424963 1.Glibc glibc = GNU C Library 是GNU项（GNU Project）目，所实现的 C语言标准库（C standard library）。 目前，常见的桌面和服务器中的GNU/Linux类
阅读全文
posted @ 2019-04-26 13:01
flagr a/b 测试特性开关&&微服务动态配置工具
摘要：flagr a/b 测试特性开关&&微服务动态配置工具 简单运行 docker docker run -it -p 18000:18000 checkr/flagr 运行界面 说明 参考连接有一般关于特性开关开发的书，挺不错。 参考文档 https://checkr.github.io/flagr/
阅读全文
posted @ 2019-04-26 12:37
stolon cloud native postgresql 高可用方案
摘要：stolon方案与patroni 类似，是一个新的pg ha 方案 包含的组件 keeper：它管理一个PostgreSQL实例，汇聚到由领导者sentinel计算的clusterview。 sentinel：它发现并监视守护者和代理并计算最佳的集群视图。 proxy：客户端的接入点。它强制连接到正
阅读全文
posted @ 2019-04-26 10:42
Hot Chocolate 一个.net 平台的graphql 框架
摘要：在看昨天发布的新版技术雷达中，看到了一个.net 的graphql 框架Hot Chocolate 还是比较激动，尽管好久不搞 .net 了，但是这个框架还是值得看看的，后边学习下 参考资料 https://hotchocolate.io/docs/introduction.html
阅读全文
posted @ 2019-04-25 20:10
使用 opendistro for elasticsearch 做为graylog的后端存储
摘要：graylog 是一个很不错的日志分析、收集、报警平台，包好了丰富的插件，同时内部的架构设计很不错 input 组件很多，使用stream、pipeline可以方便的进行数据处理，可以同时3.0 对于sidcar 的支持更好了，内部强大的 dashboard 以及查询能力，可以方便的进行常见系统的性
阅读全文
posted @ 2019-04-25 19:20
opendistro 试用
摘要：以前转载过一篇别人的关于opendistro的文章，还好使用docker-compose 运行，很方便，所以自己也跑下 环境准备 docker-compose 文件 version: '3' services: odfe-node1: image: amazon/opendistro-for-ela
阅读全文
posted @ 2019-04-24 22:39
Open Distro for Elasticsearch – How Different Is It?
摘要：转自：https://logz.io/blog/open-distro-for-elasticsearch Last month, AWS announced an initiative called Open Distro for Elasticsearch. Since then, there
阅读全文
posted @ 2019-04-24 21:13
edgedb 内部pg 数据存储的探索 (五) 运行进程列表信息
摘要：做为一个简单的记录，方便后期分析学习 当前包含了一个timescale 的extension 可以不用关注 信息 ps -ef |grep edgedb edgedb 10559 24858 0 4月23 ? 00:00:00 /usr/lib64/edgedb-1-alpha1/bin/pytho
阅读全文
posted @ 2019-04-24 16:47
How To Add Custom Build Steps and Commands To setup.py
摘要：转自：https://jichu4n.com/posts/how-to-add-custom-build-steps-and-commands-to-setuppy/ A setup.py script using distutils / setuptools is the standard way
阅读全文
posted @ 2019-04-24 08:30
edgedb 集成timescaledb
摘要：timescaledb 是一个强大的pg 扩展，可以让我们的pg 数据库支持时序数据库的能力，以下测试下与edgedb 集成 预备 因为edgedb 当前是基于pg11 开发的，所以需要使用pg11 的timescale 扩展 环境准备 edgedb 安装 这个比较简单，参考 https://edg
阅读全文
posted @ 2019-04-23 19:17
edgedb 内部pg 数据存储的探索 (四) 源码编译
摘要：edgedb 基于python开发，同时源码重包含了好多子项目,以下进行简单的源码编译 clone 代码 需要递归处理，加上recursive，比较慢稍等 git clone --recursive https://github.com/edgedb/edgedb.git 效果 正克隆到 'edge
阅读全文
posted @ 2019-04-23 17:11
edgedb 内部pg 数据存储的探索 (二) 创建数据库命令说明
摘要：前面已经创建好了一个简单可以访问pg 的edgedb 环境，现在测试几个数据库操作命令在pg 的存储 创建数据库 连接环境 注意账户是按照上次创建的环境配置 注意账户是按照上次创建的环境配置 edgedb -u edgedb 创建数据库 create database demo; pg 后端的效果，
阅读全文
posted @ 2019-04-23 14:49
edgedb 内部pg 数据存储的探索 (三) 源码包setup.py 文件
摘要：edgedb 是基于python开发的，同时集成了cython 以下为包的setup.py 配置，从里面我们可以看到关于edgedb 的一些依赖 以及构建过程 setup.py 源码 整体配置不算很多，500 多行，主要是cython extension 配置以及pg 构建配置，以及pg exten
阅读全文
posted @ 2019-04-23 14:16
python 集成cython && push 测试pip 仓库
摘要：昨天创建了一个简单的python 集成cython 的项目 master 但是有几个问题 目前的构建时基于make 同时需要本地执行，为了方便基于pip 的安装，做了如下调整 项目准备 项目使用venv 管理环境，初始化命令 python3 -m venv . 项目结构 ├── cli │ ├──
阅读全文
posted @ 2019-04-23 13:02
python 集成cython 简单测试
摘要：实际开发中我们可能需要集成c/c++ 编写的模块，我们可以通过cython 解决类似的问题 以下测试一个简单的c add 方法, 使用venv 同时构建为一个pip 包 环境准备 venv 初始化 python3 -m venv . 添加项目依赖包 pip install click cython
阅读全文
posted @ 2019-04-22 17:33
click python cli 开发包
摘要：python click 包是一个方便的cli 开发包，我们可以用来开发强大的cli 应用 使用venv 进行环境准备，示例代码来自官方 venv 环境准备 python3 -m venv demoapp 安装 pip install click 基本使用 代码 cli.py cli.py impo
阅读全文
posted @ 2019-04-22 11:02
转载一篇阿里云Terraform 开发指南
摘要：连接：https://www.jianshu.com/p/0aebea117cae 是一个比较详细的开发指南
阅读全文
posted @ 2019-04-19 09:26
zabbix 4.2 支持 timescledb 了
摘要：zabbix 4.2 已经发布了， 添加了好多新功能 支持prometheus 数据收集 支持timescaledb 支持http header 处理 更加友好的邮件通知格式 添加远程监控组件 简化标签的管理 查询性能提升 可以通过js 预处理数据 收集数据的教研以及异常处理 。。。。 说明 以上只
阅读全文
posted @ 2019-04-19 08:45
edgedb 内部pg 数据存储的探索 (一)基本环境搭建
摘要：edgedb 是基于pg 上的对象关系数据库，已经写过使用docker 运行的demo，为了探索内部的原理，做了一下尝试，开启pg 访问 后边会进一步的学习 环境准备 为了测试，使用yum 安装 安装 sudo tee <<'EOF' /etc/yum.repos.d/edgedb.repo [ed
阅读全文
posted @ 2019-04-18 23:08
Podman and Buildah for Docker users
摘要：转自：https://developers.redhat.com/blog/2019/02/21/podman-and-buildah-for-docker-users/ I was asked recently on Twitter to better explain Podman and Bui
阅读全文
posted @ 2019-04-18 21:11
集成direnv 与docker-compose 进行环境变量管理
摘要：direnv 是一个不错的换将变量管理工具，同时日常的开发测试中我们使用docker-compose 会比较多，一般我们的玩法是 可以再docker-compose 中指定环境变量，可以通过environment 或者.env 文件，或者env_file ，为了学习使用direnv工具 集成了doc
阅读全文
posted @ 2019-04-18 16:40
orientdb docker-compose 运行
摘要：orientdb 很早就跑过，但是现在在跑，发现配置有些变动，原有studio 直接就可以访问的，新版本的居然还需要自己添加 server 的配置，所以为了方便使用docker-compose 运行，写了一个简单的文档 环境准备 docker-compose 文件 version: "3" serv
阅读全文
posted @ 2019-04-18 15:53
direnv 一个强大的环境变量管理工具
摘要：direnv 是一个基于golang 编写的强大的环境变量管理工具，可以帮助我们简化环境变量管理，而且 支持的平台比较多。 基本使用 下载二进制软件包 https://github.com/direnv/direnv/releases 配置以及集成bash| shell 结合实际，我使用的是zsh
阅读全文
posted @ 2019-04-18 15:40
修复因为存储空间问题引起的nexus 服务启动异常
摘要：故障描述 因为nexus所在服务器存储空间满了， 做了部分清理操作，结果nexus 启动异常，提示错误信息基本类似如下： build 285537d2767275f460df32c6a3be01bfff6a517c, branch 2.2.x) com.orientechnologies.orien
阅读全文
posted @ 2019-04-18 11:34
How to detect, enable and disable SMBv1, SMBv2, and SMBv3 in Windows and Windows Server
摘要：转自：https://support.microsoft.com/en-us/help/2696547/detect-enable-disable-smbv1-smbv2-smbv3-in-windows-and-windows-server Summary 转自：https://support.m
阅读全文
posted @ 2019-04-18 09:13
websocket 2 rest api
摘要：需要开发一个prometheus 的exporter 使用jmespath 获取对应metrics的数据，并进行转换处理，但是因为那个服务 提供的接口是通过websoket 的实时api，所以基于node 进行了简单的包装处理，暴露为一个直接可以使用的rest api 同时保留了数据的实效性 实现技
阅读全文
posted @ 2019-04-16 16:02
编写一个简单的基于jmespath 的prometheus exporter
摘要：目的很简单，因为系统好多监控指标是通过json 暴露的，并不是标准的prometheus metrics 格式，处理方法 实际上很简单，我们可以基于jsonpath 解析json数据，转换为prometheus metrics 但是感觉查询能力一般，个人 还是比较喜欢jmespath，目前已经有一个
阅读全文
posted @ 2019-04-16 13:29
nginx ngx_http_image_filter_module 简单试用
摘要：nginx包含了一个ngx_http_image_filter_module 模块，我们可以方便的进行图片的缩略图，平时一些简单的功能 已经够用了 环境准备 为了简单使用docker-compose 运行，因为openresty 已经默认集成了这个模块，就不用安装了 docker-compose 文
阅读全文
posted @ 2019-04-15 12:37
edgedb 基本试用
摘要：环境准备 使用docker-compose 运行 docker-compose 文件 version: "3" services: db: image: edgedb/edgedb ports: - "5656:5656" - "8888:8888" 基本数据库schema 操作 修改密码 进入容器
阅读全文
posted @ 2019-04-14 00:31
influxdb 全家桶运行
摘要：一个简单的demo，集成了telegraf，influxdb，chronograf，kapacitor，nginx，一张来自官方的参考图 组件集成图 环境准备 使用docker-compose docker-compose 文件 version: "3" services: nginx: image
阅读全文
posted @ 2019-04-13 13:41
Introducing Outflux: a smart way out of InfluxDB
摘要：转自：https://blog.timescale.com/migrate-outflux-a-smart-way-out-of-influxdb/ Migrate your workload from InfluxDB to TimescaleDB with just a single comma
阅读全文
posted @ 2019-04-12 11:17
使用outflux 导入influxdb 的数据到timescaledb
摘要：influxdb 以及timescaledb 都是不错的时序数据库，timescaledb 团队提供了直接从influxdb 导入 环境准备 docker-compose 文件 version: "3" services: timescaledb: image: timescale/timescal
阅读全文
posted @ 2019-04-12 11:12
edgedb 强大的对象关系数据库
摘要：edgedb 是一个强大的对象关系数据库，构建在pg 之上。 包含的特性： 严格的强类型模式; 强大而富有表现力的查询语言; 丰富的标准库; 内置支持模式迁移; 本机GraphQL支持。 数据模型 从表现上，类似graphql 的type 定义,如下： type User { required pr
阅读全文
posted @ 2019-04-12 09:44
Announcing the Operate Preview Release: Monitoring and Managing Cross-Microservice Workflows
摘要：转自：https://zeebe.io/blog/2019/04/announcing-operate-visibility-and-problem-solving/ Written by Mike Winters on Apr 9 2019 in the Releases category. To
阅读全文
posted @ 2019-04-11 14:41
goaccess iis w3c 自定义log 格式参考
摘要：goaccess 支持强大的自定义log 格式，比如我们需要分析iis w3c 格式日志 参考iis w3c 字段 date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-
阅读全文
posted @ 2019-04-11 14:28
goaccess 通过jsonpath 转换为prometheus metrics
摘要：goaccess 是一个不错的日志分析工具，包含了json 数据同时支持基于websocket 的实时数据处理，当然我们可以通过jsonpath 的exporter 转换为支持promethues 的metrics，还是很方便的 环境准备 docker-compose 文件 version: "3"
阅读全文
posted @ 2019-04-11 13:02
nomad 0.9 新特性
摘要：内容摘自github Affinities and Spread: Jobs may now specify affinities towards certain node attributes. Affinities act as soft constraints, and inform the
阅读全文
posted @ 2019-04-10 20:53
goaccess geoip 测试
摘要：goaccess 是一个很不错的日志实时统计分析工具,我们可以用来方便的分析nginx apcahe iis 等的日志信息 对于geoip 的支持是需要源码编译的，所以基于官方docker 镜像添加了geoip 的支持 dockerfile # Builds a goaccess image fro
阅读全文
posted @ 2019-04-10 15:51
使用fpm 方便快速生成postgresql extension分发包
摘要：fpm 是一个不错，而且强大的rpm、deb，系统启动服务工具包，我们可以用来快速的生成专业的软件分发包 演示一个pg 扩展包分发包的生成（rpm 以及deb） 安装fpm sudo gem install --no-ri --no-rdoc fpm clone pg 扩展项目 代码已经写好了，使用
阅读全文
posted @ 2019-04-09 13:34
使用fpm 软件包打包
摘要：安装 sudo gem install --no-ri --no-rdoc fpm 简单使用 一个 redis的简单demo % ls src/redis-server redis.conf src/redis-server redis.conf # install src/redis-server
阅读全文
posted @ 2019-04-08 22:33
使用golang 编写postgresql 扩展
摘要：postgresql 的扩展可以帮助我们做好多强大的事情，支持的开发语言有lua、perl、java、js、c 社区有人开发了一个可以基于golang开发pg 扩展的项目，使用起来很方便，同时为我们生成了 pg 扩展依赖的文件 control 、sql 文件，以及编译好的共享库 注意我使用的是cen
阅读全文
posted @ 2019-04-08 19:06
WRITING POSTGRESQL TRIGGERS IN GO
摘要：转自：https://www.opsdash.com/blog/postgresql-triggers-golang.html 可以学习如何使用golang 编写pg extension Triggers in PostgreSQL are a simple yet powerful mechani
阅读全文
posted @ 2019-04-07 22:59
C-Language Functions
摘要：转自：https://www.postgresql.org/docs/9.6/xfunc-c.html 可以作为学习基于c编写pg extension 的资料 36.9. C-Language Functions User-defined functions can be written in C
阅读全文
posted @ 2019-04-07 22:57
algernon 基于golang 的独立的支持redis lua pg。。。 的web server
摘要：algernon 看到github 的介绍很很强大，一下子想到了openresty，功能看着很强大，支持 redis pg lua markdown quic http2 mysql 限速 pongo2 sass（scss） web 相关的 jsx （js dsl 模板写法） 说明 看官方介绍和很强
阅读全文
posted @ 2019-04-05 09:00
使用deb 打包开发的postgres extension 另外一种方法
摘要：已经写过一个deb 包打包的方法，我们同时也可以使用dpkg-deb 命令 安装依赖工具包 推荐安装全点的 sudo apt-get install build-essential autoconf automake \ autotools-dev dh-make debhelper devscri
阅读全文
posted @ 2019-04-04 15:57
使用deb 打包开发的postgres extension
摘要：昨天写过一个使用rpm 打包分发pg 扩展的demo，今天使用deb 进行打包分发，同时使用checkinstall 生成我们的deb包 安装deb 依赖 sudo apt-get install checkinstall build-essential automake autoconf libt
阅读全文
posted @ 2019-04-04 14:42
ubuntu deb pacakge 开发
摘要：安装构建工具 apt-get install pbuilder 推荐安装 sudo apt-get install build-essential autoconf automake \ autotools-dev dh-make debhelper devscripts fakeroot \ xu
阅读全文
posted @ 2019-04-04 14:41
What’s New In GRANDstack?
摘要：转自：https://blog.grandstack.io/whats-new-in-grandstack-310c067fea4a There’s been a lot of activity in the GRANDstack world recently so in this post we
阅读全文
posted @ 2019-04-04 08:35
How to create an rpm package
摘要：转自：https://linuxconfig.org/how-to-create-an-rpm-package Rpm is both the package manager and the package format used by many linux distributions such a
阅读全文
posted @ 2019-04-03 21:25
一篇讲解如何调试pg 扩展的文章
摘要：以下链接这片关于pg 扩展调试的文章挺不错，记录下 http://big-elephants.com/2015-10/writing-postgres-extensions-part-iii/
阅读全文
posted @ 2019-04-03 19:35
使用rpm 打包开发的postgres extension
摘要：环境准备 安装依赖包 rpmdevtools rpm-build yum install -y rpm-build rpmdevtools 初始化rpm pacakge 项目 主要是rpm 打包的目录结构 使用rpmdev-setuptree 工具 效果如下： ── rpmbuild ├── BUI
阅读全文
posted @ 2019-04-03 19:04
开发一个简单的postgresql extension
摘要：主要是学习如何编写一个简单的pg extension，参考https://severalnines.com/blog/creating-new-modules-using-postgresql-create-extension 目的 创建一个类似oracel 的nvl 函数 项目创建 为了简化使用，
阅读全文
posted @ 2019-04-03 13:09
How to Create an PostgreSQL Extension
摘要：转自：https://severalnines.com/blog/creating-new-modules-using-postgresql-create-extension Extensibility is one of the most powerful feature in PostgreSQ
阅读全文
posted @ 2019-04-03 12:53
zombodb 几点说明
摘要：内容来自官方文档，截取部分 默认es 索引的副本为0 这个参考可以通过修改索引，或者在创建的时候通过with 参数指定，或者通过pg 的配置文件中指定 索引更多的列以为这使用了更多的es 能力 索引的列越多，说明我们对于es 的使用更好，可以更好的使用es 的能力 zombodb 存储整个数据在es
阅读全文
posted @ 2019-04-03 10:33
zombodb query dsl
摘要：zombodb query dsl 是为了简化es 查询的处理，同时可以兼容基本上所有的es 操作 一个简单的查询,查询任何字段包含cats 以及dogs 的 SELECT * FROM table WHERE table ==> <cats and dogs query here> zombodb
阅读全文
posted @ 2019-04-03 09:59
zombodb 数据类型映射
摘要：zombodb 与es 数据类型的映射处理 通用数据类型映射 Postgres 类型Elasticsearch JSON 映射定义 bytea {"type": "binary"} boolean {"type": "boolean"} smallint {"type": "short"} inte
阅读全文
posted @ 2019-04-03 09:39
Amundsen — Lyft’s data discovery & metadata engine
摘要：转自：https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9 In order to increase productivity of data scientists and research s
阅读全文
posted @ 2019-04-03 08:15
The Twelve-Factor Container
摘要：转自：https://medium.com/notbinary/the-twelve-factor-container-8d1edc2a49d4?%24identity_id=550978996201189678&feature=Share&type=0&duration=0&data=eyIkb2
阅读全文
posted @ 2019-04-03 08:13
zombodb sql functions 说明
摘要：zombodb 提供了好多方便的sql 函数工具类以及帮助函数 查看zombodb 版本zdb.version() select * from zdb.version(); version 10-1.0.3 (1 row) es http 请求的 zdb.request 函数签名 FUNCTION
阅读全文
posted @ 2019-04-02 18:17
zombodb 得分以及高光
摘要：得分以及高光在搜索引擎中有很重要的作用 得分zdb.score 使用方法 zdb.score(tid) 参考示例 SELECT zdb.score(ctid), * FROM products WHERE products ==> 'sports box' ORDER BY score desc;
阅读全文
posted @ 2019-04-02 16:16
windows openssh 设置root 目录
摘要：默认windows openssh 服务的root 目录是用户账户所在的目录(一般是administrator)，但是我们可以通过修改sshd_config 重新修改路径 可选的修改方式 直接修改sshd 的配置然后重启服务 C:\ProgramData\ssh\sshd_config 目录添加如下
阅读全文
posted @ 2019-04-02 15:16
zombodb 聚合函数
摘要：zombodb 暴露基本上所有es 的集合函数为sql 函数，我们可以方便使用 比如 count FUNCTION zdb.count( index regclass, query zdbquery) RETURNS bigint 说明 详细参数使用参考github 项目文档，而且和es 的命名基本
阅读全文
posted @ 2019-04-02 11:15
zombodb 索引管理
摘要：zombodb 支持标准的index 管理（create 、alter、drop） 创建索引 CREATE INDEX index_name ON table_name USING zombodb ((table_name.*)) WITH (...) 修改索引 ALTER INDEX index_
阅读全文
posted @ 2019-04-02 10:51
zombodb 索引创建
摘要：索引的创建是zombodb 的核心，我们都是需要先创建table，然后创建索引，创建的时候我们可以指定es 集群的地址，同时可能需要使用 一些地址api（比如数据直接存储在es 中而不是pg 中） 表创建 CREATE TABLE products ( id SERIAL8 NOT NULL PRI
阅读全文
posted @ 2019-04-02 10:36
zombodb 低级api 操作
摘要：zombodb 低级api 允许直接从zombodb 索引中进行insert、delete 文档，同时保留了mvcc 的特性，但是数据没有存储在 pg 中，但是也带来数据上的风险，我们需要注意进行es 数据的备份 api 说明 FUNCTION zdb.llapi_direct_insert(ind
阅读全文
posted @ 2019-04-02 10:20
zombodb 几个方便的_cat api
摘要：zombodb 暴露所有es _cat/ api 为视图，我们可以通过视图方便的查询es 的信息，默认在zdb的schema 中 包含的视图 几个方便的view 查看索引统计信息zdb.index_stats select * from zdb.index_stats; -[ RECORD 1 ]
阅读全文
posted @ 2019-04-02 09:54
zombodb 配置设置
摘要：主要是关于es 集群地址以及分片，复制副本的配置，配置主要在postgresql.conf，当然我们可以在函数中指定 postgresql.conf 级别的配置 es 配置 格式 zdb.default_elasticsearch_url Type: string Default: null 说明
阅读全文
posted @ 2019-04-02 09:53
hasura graphql-engine 集成zombodb
摘要：zombodb 是一个很不错的pg 扩展，可以方便的把es 与pg 集成起来，使用方便 ，目前尽管有一些docker 镜像 但是版本都比较老，所以基于centos7 做了一个新的docker 镜像，同时基于view 的方式集成hasura graphql-engine 环境准备 docker ima
阅读全文
posted @ 2019-04-01 19:25
zombodb安装试用
摘要：pg 数据库安装 参考如下安装 yum install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-2.noarch.rpm yum install postgresql
阅读全文
posted @ 2019-04-01 11:20
