随笔分类 - pgloader

pgloader 学习（九） pg 2 pg 使用with 参数控制同步逻辑

摘要：pgloader 支持比较丰富的配置参数，同时默认数据在同步的时候是会进行索、schema 以及数据的同步对于实际我们可能存在需要进行控制，我们可以通过with 参数方便的处理参考配置 load 文件 load database from pgsql://postgres:dalong@postg 阅读全文

posted @ 2019-06-27 12:53 荣锋亮阅读(938) 评论(0) 推荐(0) 编辑

pgloader 学习（八） pg 2 pg 简单demo

摘要：pg 数据到pg 数据的迁移，同时支持名称的变更环境准备 docker-compose文件内容偏多可以忽略部分 version: "3" services: pgloader-csv: image: dimitri/pgloader volumes: - "./init-db:/opt/db" 阅读全文

posted @ 2019-06-13 21:11 荣锋亮阅读(939) 评论(0) 推荐(0) 编辑

pgloader 学习（七）从归档文件加载数据

摘要：我们可以直接从zip，tar，gzip 文件获取内容 command file 参考格式 LOAD ARCHIVE FROM /Users/dim/Downloads/GeoLiteCity-latest.zip INTO postgresql:///ip4r BEFORE LOAD DO $$ 阅读全文

posted @ 2019-06-13 20:31 荣锋亮阅读(476) 评论(0) 推荐(0) 编辑

pgloader 学习（六）加载csv 数据

摘要：关于加载的配置参数都是使用comand file command file 参考格式 LOAD CSV FROM 'GeoLiteCity-Blocks.csv' WITH ENCODING iso-646-us HAVING FIELDS ( startIpNum, endIpNum, locId 阅读全文

posted @ 2019-06-13 20:17 荣锋亮阅读(864) 评论(0) 推荐(0) 编辑

pgloader 学习（五）pgloader 参考手册

摘要：pgloader将各种来源的数据加载到PostgreSQL中。它可以转换动态读取的数据，并在加载前后提交原始SQL。它使用COPY PostgreSQL协议将数据流式传输到服务器，并通过填充一对reject.dat和reject.log文件来管理错误 pgloader 的操作，可以使用命令行参数，阅读全文

posted @ 2019-06-13 14:48 荣锋亮阅读(4329) 评论(0) 推荐(0) 编辑

pgloader 学习（四）一些简单操作例子

摘要：上边已经说明了pgloader 的基本使用（篇理论），但是对于实际操作偏少，以下是一个简单的操作不像官方文档那样，我为了方便，直接使用docker-compose 运行，同时这个环境，会在后边大部分场景使用,同时对于pgloader 的dsl暂时不会仔细说明，后边会有介绍环境准备 docker 阅读全文

posted @ 2019-06-13 11:13 荣锋亮阅读(1733) 评论(0) 推荐(0) 编辑

pgloader 学习（三）快速使用

摘要：pgloader 支持多种数据源数据的加载，以下列出简单的操作命令，后边会有详细的使用说明 csv 格式内容加载预备说明需要先在pg 数据库创建表 create table districts_longlat ( usps text, geoid text, aland bigint, awat 阅读全文

posted @ 2019-06-13 09:44 荣锋亮阅读(1272) 评论(0) 推荐(0) 编辑

pgloader 学习（二）特性矩阵&&命令行

摘要：pgloader 对于各种数据库支持的还是很完整的，同时有一套自己的dsl 特性矩阵操作命令命令格式 pgloader [<options>] [<command-file>]... pgloader [<options>] SOURCE TARGET pgloader [<options>] 阅读全文

posted @ 2019-06-13 09:24 荣锋亮阅读(562) 评论(0) 推荐(0) 编辑

pgloader 学习（一）支持的特性

摘要：pgloader 是一个不错的多种格式数据同步到pg 的工具，pgloader 使用postrgresql 的copy 协议进行高效的数据同步处理特性加载文件到内容pg 多种数据源格式的支持 csv、fixed 列、dbase、sqlte、ibm ixf、postgresql、mysql、sql 阅读全文

posted @ 2019-06-13 09:19 荣锋亮阅读(640) 评论(0) 推荐(0) 编辑

pgloader 方便的数据迁移工具

摘要：pgloader 是一个支持多种数据源迁移到pg 数据库的工具，高性能，使用灵活同时作者也提供了docker 版本的镜像，今年3月份使用此工具的时候，发现好久都没更新了，但是最近作者有了新版本的发布，同时支持pg to pg，修复了部分bug，同时也有了新的官方文档。同时作者提出的Conti 阅读全文

posted @ 2019-06-12 10:00 荣锋亮阅读(741) 评论(0) 推荐(0) 编辑