postgres http fdw + plv8+pg_cron 处理数据
昨天有简单写过使用http fdw+plv8 处理数据的,以下是一个结合pg_cron 的
场景: 使用pg_cron 每隔一分钟操作此获取ip 的操作,ip 获取通过http fdw 处理,同时结合plv8 处理json 数据
环境准备
- docker-compose 文件
version: "3"
services:
graphql-engine:
image: hasura/graphql-engine:v1.1.0
ports:
- "8080:8080"
environment:
HASURA_GRAPHQL_DATABASE_URL: postgres://postgres:dalong@pgspider-fdw:5432/postgres
HASURA_GRAPHQL_ENABLE_CONSOLE: "true" # set to "false" to disable console
HASURA_GRAPHQL_ENABLED_LOG_TYPES: startup, http-log, webhook-log, websocket-log, query-log
pgspider-fdw:
image: dalongrong/pgspider:gzip-http-plv8
ports:
- "5432:5432"
environment:
- "POSTGRES_PASSWORD=dalong"
- 启动
docker-compose up -d
- 创建数据表
记录ip
CREATE TABLE userips (
id SERIAL PRIMARY KEY,
origin text
);
使用扩展
- 创建扩展
create extension plv8;
create extension http;
create extension pg_cron;
- 使用http fdw+ plv8 获取ip
CREATE TYPE rec AS (origin text);
CREATE or replace FUNCTION apps() RETURNS SETOF rec AS
$$
var ip = plv8.execute(`select content FROM http_get('http://httpbin.org/ip')`);
return [{"origin": JSON.parse(ip[0].content).origin}]
$$
LANGUAGE plv8;
- 创建函数处理ip insert (pg_cron 调用)
CREATE OR REPLACE FUNCTION insert_ip()
RETURNS void AS
$$
BEGIN
insert into userips(origin) select origin from apps();
END;
$$ LANGUAGE plpgsql;
- 创建任务调度
SELECT cron.schedule('* * * * *','select insert_ip()');
- 效果
任务调度列表
数据
集成graphql-engine
这个就比较简单了,添加track,查询就可以了,数据是基于任务调动添加的
参考资料
https://github.com/plv8/plv8
https://github.com/pramsey/pgsql-http
https://www.cnblogs.com/rongfengliang/p/12372879.html
https://www.cnblogs.com/rongfengliang/p/12375186.html
https://github.com/citusdata/pg_cron
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
2019-02-28 ClusterControl docker 环境搭建
2019-02-28 验证远程主机SSH指纹
2018-02-28 grpc gateway 使用以及docker compose 集成