docker 界面话管理工具Portainer
摘要:1、环境:docker-desktop 2、docker已安装 3、安装Portainer : 1、docker pull portainer/portainer2、docker run -d -p 19000:9000 -v //var/run/docker.sock:/var/run/docke
阅读全文
解决streamsets jdbc全量模式数据重复问题
摘要:原文链接: https://anjia0532.github.io/2019/07/22/sdc-jdbc-full-mode/ 实际上在官方文档有讲 Full and Incremental Mode 主要看提示(Tip)部分,如果只想执行一次查询后就停止 pipeline,应该配置 origin
阅读全文
clickhouse 行列转换
摘要:相关函数请参考官方网站:https://clickhouse.tech/docs/zh/sql-reference/functions/date-time-functions/行列转置一般由由行转为列,或者由列转为行。 CREATE TABLE datasets.t_city ( `province
阅读全文
clickHouse 常用命令
摘要:客户端链接工具clickhouse-client -m -u root -p root --大小写敏感的CREATE TEMPORARY TABLE IF NOT EXISTS test.member_new_simple2 ENGINE = Memory AS SELECT ID,user_id,
阅读全文
mysqldump导出数据
摘要:mysqldump可以选择使用多值插入打开或关闭。您可以根据自己的喜好执行以下任一操作: 每个值单独插入语句: mysqldump -t -h192.168.212.128 -P3306 --default-character-set=utf8 --skip-extended-insert -uro
阅读全文
oracle 迁移到clickhouse 45亿条数据
摘要:原文链接:http://www.520mwx.com/view/90469 45亿数据迁移记录 背景 数据库数据量日益增加,逐渐开始显得很是臃肿,日常查询统计的时候,仅仅是count(1) 查询下总数,耗费的时间也在500s左右,而且之前的orcle数据库,前期建立的时候,也未考虑太多,未进行索引,
阅读全文
clickHouse 导入/删除/更新数据
摘要:1、 --导入数据: CREATE TABLE FactSaleOrders ENGINE = MergeTree ORDER BY OrderID AS SELECT * FROM mysql('10.42.134.136:4000', 'dbname', 'tableName', 'root',
阅读全文
clickhouse Mysql 数据类型对比
摘要:ClickHouse MySQL Comment UInt8, UInt16, UInt32, UInt64 TINYINT UNSIGNED, SMALLINT UNSIGNED, INT UNSIGNED, BIGINT UNSIGNED Int8, Int16, Int32, Int64 TI
阅读全文
maven 的使用
摘要:1、下载maven 包windows 并配置全局路径 http://maven.apache.org/download.cgi 2、在当前目录下创建pom.xml 执行命令: mvn dependency:copy-dependencies -DoutputDirectory=lib -Dinclu
阅读全文
streamsets 同步Mysql 到clickhouse
摘要:streamsets 官方:https://streamsets.com/ 1、docker安装 https://hub.docker.com/r/streamsets/datacollector docker run --restart on-failure -p 18630:18630 -d -
阅读全文
025-大数据ETL工具之StreamSets安装及订阅mysql binlog
摘要:025-大数据ETL工具之StreamSets安装及订阅mysql binlog 原文章来自:https://anjia0532.github.io/2019/06/10/cdh-streamsets/ 2019-06-10 这是坚持技术写作计划(含翻译)的第 25 篇,定个小目标 999,每周最少
阅读全文
clickhouse的可视化工具DEeaver
摘要:1、DBeaver下载 DBeaver的官网 https://dbeaver.io/download/ 最新包2020-0722 链接: https://pan.baidu.com/s/1dg-RsQ8Y5gselaabgZs2Xw 提取码: 9sph 2、clickHouse 官方网站 https
阅读全文