postgres elasticsearch fdw 学习

es 的fdw 是基于multicorn（python扩展）开发的，官方的multicorn 版本已经很老了，对于pg 的高版本是不支持的
但是已经有人提供了支持新版本的包了,还是很不错的，基于python 开发fdw 简单方便

multicorn 支持的版本

apt-get install postgresql-9.4-python-multicorn

apt-get install postgresql-9.5-python-multicorn

apt-get install postgresql-9.6-python-multicorn

apt-get install postgresql-10-python-multicorn

apt-get install postgresql-11-python-multicor

es fdw docker 镜像

• Dockerfile

  9.5 版本的，es 为7 （默认使用es python 的最新版本）

FROM postgres:9.5

RUN apt-get update && apt-get -y install \

        postgresql-9.5-python-multicorn \

        python-pip \

    && apt-get clean \

    && rm -rf /var/lib/apt/lists/*

RUN pip install pg_es_fdw

环境准备

• docker-compose 文件

version: "3"

services:

  elasticsearch:

    image: elasticsearch:7.6.0

    environment:

      - "discovery.type=single-node"

      - "http.host=0.0.0.0"

      - "cluster.name=odfe-cluster"

      - "transport.host=0.0.0.0"

      - "network.host=0.0.0.0"

      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"

    ports:

    - 9200:9200

  psotgres-fdw:

    image: dalongrong/pg-es-fdw:9.5

    ports:

      - "5432:5432"

    environment:

      - "POSTGRES_PASSWORD=dalong"

启动&&使用

• 启动

docker-compose up -d

• 使用

// 创建扩展

CREATE EXTENSION multicorn;

//  创建 

CREATE SERVER multicorn_es FOREIGN DATA WRAPPER multicorn

OPTIONS (

  wrapper 'pg_es_fdw.ElasticsearchFDW'

);

//  创建外部表映射

CREATE FOREIGN TABLE articles_es

    (

        id BIGINT,

        title TEXT,

        body TEXT,

        query TEXT,

        score NUMERIC

    )

SERVER multicorn_es

OPTIONS

    (

        host 'elasticsearch',

        port '9200',

        index 'article-index',

        type 'article',

        rowid_column 'id',

        query_column 'query',

        score_column 'score',

        timeout '20'

    )

;

// insert 数据

INSERT INTO articles_es

    (

        id,

        title,

        body

    )

VALUES

    (

        1,

        'foo',

        'spike'

    );

• 效果

 

 

 

 

说明

dockerhub 中我已经push 了9.5 以及11的版本，可以体验试用，为dalongrong/pg-es-fdw:9.5 , dalongrong/pg-es-fdw:11

参考资料

https://github.com/matthewfranglen/postgres-elasticsearch-fdw
https://hub.docker.com/repository/docker/dalongrong/pg-es-fdw
https://github.com/rongfengliang/es-fdw-learning