2023年3月13日

摘要: 1.需求:自动建表将需要的sqlserver任意表迁移到mysql 2.基础信息: sqlserver数据库:zhc_test mysql数据库:test 3.整个过程需要2个job,4个trans 4.JAVA代码 public boolean processRow(StepMetaInterfa 阅读全文
posted @ 2023-03-13 15:52 zhangdapangzi 阅读(430) 评论(0) 推荐(0) 编辑
 
摘要: kettle 安装配置 http://wiki.pentaho.com/display/BAD/Extracting+Data+from+HDFS+to+Load+an+RDBMS 安装Kettle需先安装jdk,配置环境变量,安装JDK时jdk bin和jre要在一个JDK目录下 阅读全文
posted @ 2023-03-13 15:48 zhangdapangzi 阅读(48) 评论(0) 推荐(0) 编辑
 
摘要: kettle将数据加载到hadoop集群 1..将数据加载到HDFS a)启动Hadoop,创建Job,把文件放进Hadoop b)在桌面上打开PDI(kettle):选择“文件(file)”-“新建(new)”-“job” c)添加启动项工作:你需要告诉PDI从哪开始的Job,所以点开设计面板的“ 阅读全文
posted @ 2023-03-13 15:48 zhangdapangzi 阅读(218) 评论(0) 推荐(0) 编辑
 
摘要: Kettle遇到的问题 Kettle基础 kettle有两种保存方式:一种是资源库方式(数据库),一种是文件格式(XML) kettle有两种类型Transformation和Job,Transformation完成针对数据的基础转换,Job则完成整个工作流的控制 3.kettle跨平台使用 a) 阅读全文
posted @ 2023-03-13 15:45 zhangdapangzi 阅读(352) 评论(0) 推荐(1) 编辑
 
摘要: Kettle命令行使用说明 1.Kitchen——作业执行器(后缀名:kjb) 是一个作业执行引擎,用来执行作业。这是一个命令行执行工具,参数说明如下。 -rep:Repositoryname任务包所在存储名 -user:Repositoryusername执行人 -pass:Repositoryp 阅读全文
posted @ 2023-03-13 15:45 zhangdapangzi 阅读(151) 评论(0) 推荐(0) 编辑
 
摘要: // (new Date()).Format("yyyy-MM-dd hh:mm:ss.S") ==> 2006-07-02 08:09:04.423 Date.prototype.Format = function (fmt) { var o = { "M+": this.getMonth() + 阅读全文
posted @ 2023-03-13 15:44 zhangdapangzi 阅读(5) 评论(0) 推荐(0) 编辑
 
摘要: 1、开启防火墙 systemctl start firewalld 2、开放指定端口 firewall-cmd --zone=public --add-port=1935/tcp --permanent 命令含义: --zone #作用域 --add-port=1935/tcp #添加端口,格式为: 阅读全文
posted @ 2023-03-13 15:41 zhangdapangzi 阅读(35) 评论(0) 推荐(0) 编辑
 
摘要: https://blog.csdn.net/love_yu_er/article/details/88634274 适用系统:Linux(Redhat , CentOS,Debian,Ubuntu) * Linux的云服务器数据盘未做分区和格式化,可以根据以下步骤进行分区以及格式化操作。 下面的操作 阅读全文
posted @ 2023-03-13 15:40 zhangdapangzi 阅读(25) 评论(0) 推荐(0) 编辑
 
摘要: acl.json { "datacenter":"dc1", "acl": { "enabled": true, "default_policy": "deny", "down_policy": "extend-cache", "tokens": { "master": "91d4fd76-dc33 阅读全文
posted @ 2023-03-13 15:38 zhangdapangzi 阅读(10) 评论(0) 推荐(0) 编辑
 
摘要: 引言 docker所在服务器,在运行了一段时间后,服务器磁盘目录渐渐不够用。 通过du -h --max-depth=1 / 逐级目录排查,发现/var/lib/docker目录文件过大。 解决方法 转移数据修改docker默认存储位置 建议:在docker安装完后,修改docker默认存储位置为其 阅读全文
posted @ 2023-03-13 15:34 zhangdapangzi 阅读(57) 评论(0) 推荐(0) 编辑
 
摘要: 1.docker端口映射或启动容器时报错Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen Error response from daemon: d 阅读全文
posted @ 2023-03-13 15:32 zhangdapangzi 阅读(13) 评论(0) 推荐(0) 编辑
 
摘要: 1.搭建zookeeper集群 docker-compose.yml文件 version: '3.1' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2181:2181 environment: ZO 阅读全文
posted @ 2023-03-13 15:29 zhangdapangzi 阅读(130) 评论(0) 推荐(0) 编辑
 
摘要: 1.elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/7.5/docker.html 1.1.docker pull elasticsearch:7.13.0 (docker pull elasticsearc 阅读全文
posted @ 2023-03-13 15:28 zhangdapangzi 阅读(18) 评论(0) 推荐(0) 编辑
 
摘要: 一.安装python3.6.1 1.安装依赖环境(必须安装否则会出现python3编译器中不能使用退格键和方向键) yum install readline-devel gcc make patch gdbm-devel openssl-devel sqlite-devel readline-dev 阅读全文
posted @ 2023-03-13 15:25 zhangdapangzi 阅读(138) 评论(0) 推荐(0) 编辑
 
摘要: 1.路径 mkdir /home/datax-web cd /home/datax-web 2.下载 https://github.com/WeiYe-Jing/datax-web https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg 密码:cpsk 3.解 阅读全文
posted @ 2023-03-13 15:23 zhangdapangzi 阅读(117) 评论(0) 推荐(0) 编辑
 
摘要: # 添加定时任务crontab -e#每天23点50分执行sh脚本50 23 * * * /opt/datax/sync_gym_course_add.sh#每隔30分钟执行sh脚本*/30 * * * * /opt/datax/sync_gym_course_add.sh #查看crontab日志 阅读全文
posted @ 2023-03-13 15:19 zhangdapangzi 阅读(288) 评论(0) 推荐(0) 编辑
 
摘要: 1.安装nginx yum install -y nginx 2.启动nginx systemctl start nginx.service 3.设置开机自启 systemctl enable nginx.service 4.nginx 配置信息 网站文件存放默认位置(Welcome to ngin 阅读全文
posted @ 2023-03-13 15:16 zhangdapangzi 阅读(131) 评论(0) 推荐(0) 编辑
 
摘要: SELECT SPID = er.session_id ,Status = ses.status ,[Login] = ses.login_name ,Host = ses.host_name ,BlkBy = er.blocking_session_id ,DBName = DB_Name(er. 阅读全文
posted @ 2023-03-13 15:13 zhangdapangzi 阅读(99) 评论(0) 推荐(0) 编辑
 
摘要: 遇到的问题: 查看mysql-bin-00001日志内容,默认配置用户对/var/lib/mysql下的binlog文件没有读的权限,只有写的权限,所以需要先对该用户赋权: chown -R mysql:huichao /var/lib/mysql 查看日志内容: mysqllogbin /var/ 阅读全文
posted @ 2023-03-13 15:12 zhangdapangzi 阅读(68) 评论(0) 推荐(0) 编辑
 
摘要: #先运行全量备份,再运行增量备份 #!/bin/sh #需求,对数据库进行全量备份 #备份日期 dumpDate=$(date "+%Y%m%d") #三天前的日期 old=$(date -d"3 day ago" +"%Y%m%d") #备份开始详细时间 startTime=$(date "+%Y 阅读全文
posted @ 2023-03-13 15:11 zhangdapangzi 阅读(121) 评论(0) 推荐(0) 编辑