09 2023 档案
摘要:(一)将输出与错误写到同一个文件(1)方法1 #!bin/bashjava -jar hbase-example.jar 2>&1 | tee hbase_log.txt 说明:0,1,2:在linux分别表示标准输入、标准输出和标准错误信息输出。tee默认为写入覆盖,-a参数表示追加内容。 #!b
阅读全文
摘要:最近在做Hbase的查询性能验证,需要统计查询的执行时长,所以需要统计开始时间和结束时间的时间差。 下面是使用SimpleDateFormat和Date计算时间差(相差毫秒数)的程序示例,仅供参考。 package com.sgcc; import java.text.ParseException;
阅读全文
摘要:1、问题描述 执行hbase shell命令时提示: ERROR: KeeperErrorCode = NoNode for /hbase/master 2、问题原因 这是与因为服务器重启后Hadoop的运行和Hbase的运行异常。 3、解决办法 依次去停止和启动Hadoop (1)到hadoop的
阅读全文
摘要:1、问题描述 HBase启动时异常如下: java.lang.IllegalArgumentException: object is not an instance of declaring class at sun.reflect.NativeMethodAccessorImpl.invoke0(
阅读全文
摘要:方法一 Ctrl+G 快捷键Ctrl+G,点击【定位条件】,选择“行内容差异单元格”,点击【确定】。 方法二 条件格式 逆向思维,先利用条件格式查找出相同的数据,筛选剔除相同的数据,剩下的则为不同的数据。 (1)选中比较的两列——>开始——>条件格式——>重复值——>筛选——>颜色筛选——>空(无填
阅读全文
摘要:一、分区简介 表分区是解决一些因单表过大引用的性能问题的方式,比如某张表过大就会造成查询变慢,可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。 表的分区就是将一个逻辑上的大表(主要指数据量大),切分为多个小的物理的分片。 1.分区的优点 1) 在某些情况下,尤其是当表中大多数被
阅读全文
摘要:1.背景原因 当前MySQL不支持在添加和删除分区时,使用IF NOT EXISTS和IF EXISTS。所以在执行调度任务时,直接通过ADD PARTITION和DROP PARTITION不可避免会报错。本文通过创建存储过程来添加和删除分区,可以避免在分区存在时添加分区报错,或者分区不存在时删除
阅读全文
摘要:当我们需要把Word文件中的图片保存起来,你是如何导出Word图片呢?右键一张张保存图片吗?这效率太低了。如果文档中有大量的图片,这个方法会浪费很多时间。 下面给大家分享word如何批量导出图片的技巧。 1、Word文件转网页格式导出图片这个方法是将Word图片保存为网页的格式,操作方法:选择文件点
阅读全文
摘要:一、MySQL分区简介 1、数据库分区 MySQL是一种常用的关系型数据库管理系统,分区表是一种在MySQL数据库中处理大规模数据的最佳方案之一,其主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减SQL语句的响应时间。 分区表是指将表按照创建时所指定的规则(如按时间、按范围等)来进行分区,
阅读全文
摘要:(一)数据同步信息 名称 源端 名称 目标端 数据库类型 Postgresql 12.4 组件类型 Kafka IP地址 20.2.127.23 Broker地址 20.2.125.52:9092, 20.2.127.23:9092, 20.2.127.24:9092 端口 5432 端口 9092
阅读全文
摘要:(一)数据库信息 名称 源端数据库 目标端数据库 数据库类型 Postgresql 12.4 MySQL 5.7 IP地址 20.2.127.23 20.2.127.24 端口 5432 3306 数据库 testpdb test 用户 ogguser root 密码 ogguserP2021 Ro
阅读全文
摘要:问题描述: 将PostgreSQL通过OGG_BigData同步到Kafka后数据存在8小时时间差。 问题原因: kafka.properties中的参数goldengate.userexit.timestamp=utc 解决办法: 修改kafka.properties中的参数goldengate.
阅读全文
摘要:一、问题描述 在启动kafka时报错: ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentBrokerIdExce
阅读全文
摘要:问题描述:使用umount卸载磁盘,报错:umount: /mnt: target is busy. 问题原因:有进程正在使用目标路径。 解决办法: 使用fuser命令。 (1)查看使用的进程:fuser -mv /mnt/(2)杀死占用的进程:fuser -kv /mnt/ 参考: fuser命令
阅读全文
摘要:1.问题描述 在启动OGG源端的投递进程时,报错:OGG-01496 OGG-01496 Failed to open target trail file ./dirdat/ra000002, at RBA 2179 2.原因分析 目标端trail文件丢失,查看目标端的${OGG_HOME}/dir
阅读全文