2023年3月13日

6.kettle自动建表将sql server数据库迁移到mysql
摘要： 1.需求：自动建表将需要的sqlserver任意表迁移到mysql 2.基础信息： sqlserver数据库：zhc_test mysql数据库：test 3.整个过程需要2个job，4个trans 4.JAVA代码 public boolean processRow(StepMetaInterfa 阅读全文
posted @ 2023-03-13 15:52 zhangdapangzi 阅读(442) 评论(0) 推荐(0) 编辑
 
5.kettle集群配置
摘要： kettle 安装配置 http://wiki.pentaho.com/display/BAD/Extracting+Data+from+HDFS+to+Load+an+RDBMS 安装Kettle需先安装jdk，配置环境变量，安装JDK时jdk bin和jre要在一个JDK目录下 阅读全文
posted @ 2023-03-13 15:48 zhangdapangzi 阅读(49) 评论(0) 推荐(0) 编辑
 
4.kettle将数据加载到hadoop集群
摘要： kettle将数据加载到hadoop集群 1..将数据加载到HDFS a)启动Hadoop，创建Job，把文件放进Hadoop b)在桌面上打开PDI(kettle)：选择“文件（file）”-“新建（new）”-“job” c)添加启动项工作：你需要告诉PDI从哪开始的Job，所以点开设计面板的“ 阅读全文
posted @ 2023-03-13 15:48 zhangdapangzi 阅读(240) 评论(0) 推荐(0) 编辑
 
3.kettle使用
摘要： Kettle遇到的问题 Kettle基础 kettle有两种保存方式：一种是资源库方式（数据库），一种是文件格式（XML） kettle有两种类型Transformation和Job，Transformation完成针对数据的基础转换，Job则完成整个工作流的控制 3.kettle跨平台使用 a) 阅读全文
posted @ 2023-03-13 15:45 zhangdapangzi 阅读(368) 评论(0) 推荐(1) 编辑
 
2.kettle命令行使用说明
摘要： Kettle命令行使用说明 1.Kitchen——作业执行器(后缀名：kjb) 是一个作业执行引擎，用来执行作业。这是一个命令行执行工具，参数说明如下。 -rep:Repositoryname任务包所在存储名 -user:Repositoryusername执行人 -pass:Repositoryp 阅读全文
posted @ 2023-03-13 15:45 zhangdapangzi 阅读(153) 评论(0) 推荐(0) 编辑
 
1.javaScript日期格式化转换
摘要： // (new Date()).Format("yyyy-MM-dd hh:mm:ss.S") ==> 2006-07-02 08:09:04.423 Date.prototype.Format = function (fmt) { var o = { "M+": this.getMonth() + 阅读全文
posted @ 2023-03-13 15:44 zhangdapangzi 阅读(5) 评论(0) 推荐(0) 编辑
 
10.防火墙开启指定端口
摘要： 1、开启防火墙 systemctl start firewalld 2、开放指定端口 firewall-cmd --zone=public --add-port=1935/tcp --permanent 命令含义： --zone #作用域 --add-port=1935/tcp #添加端口，格式为： 阅读全文
posted @ 2023-03-13 15:41 zhangdapangzi 阅读(36) 评论(0) 推荐(0) 编辑
 
9.linux挂载数据盘
摘要： https://blog.csdn.net/love_yu_er/article/details/88634274 适用系统：Linux（Redhat , CentOS，Debian，Ubuntu） * Linux的云服务器数据盘未做分区和格式化，可以根据以下步骤进行分区以及格式化操作。 下面的操作 阅读全文
posted @ 2023-03-13 15:40 zhangdapangzi 阅读(26) 评论(0) 推荐(0) 编辑
 
2.注销带ACL TOKEN的服务
摘要： acl.json { "datacenter":"dc1", "acl": { "enabled": true, "default_policy": "deny", "down_policy": "extend-cache", "tokens": { "master": "91d4fd76-dc33 阅读全文
posted @ 2023-03-13 15:38 zhangdapangzi 阅读(11) 评论(0) 推荐(0) 编辑
 
5.docker容器磁盘不够
摘要： 引言 docker所在服务器，在运行了一段时间后，服务器磁盘目录渐渐不够用。 通过du -h --max-depth=1 / 逐级目录排查，发现/var/lib/docker目录文件过大。 解决方法 转移数据修改docker默认存储位置 建议：在docker安装完后，修改docker默认存储位置为其 阅读全文
posted @ 2023-03-13 15:34 zhangdapangzi 阅读(60) 评论(0) 推荐(0) 编辑
 
4.docker错误Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen
摘要： 1.docker端口映射或启动容器时报错Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen Error response from daemon: d 阅读全文
posted @ 2023-03-13 15:32 zhangdapangzi 阅读(13) 评论(0) 推荐(0) 编辑
 
3.docker 搭建kafka和kafka-manager集群
摘要： 1.搭建zookeeper集群 docker-compose.yml文件 version: '3.1' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2181:2181 environment: ZO 阅读全文
posted @ 2023-03-13 15:29 zhangdapangzi 阅读(135) 评论(0) 推荐(0) 编辑
 
5.docker elk（单节点）
摘要： 1.elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/7.5/docker.html 1.1.docker pull elasticsearch:7.13.0 (docker pull elasticsearc 阅读全文
posted @ 2023-03-13 15:28 zhangdapangzi 阅读(18) 评论(0) 推荐(0) 编辑
 
2.datax条件python3.6安装
摘要： 一.安装python3.6.1 1.安装依赖环境（必须安装否则会出现python3编译器中不能使用退格键和方向键） yum install readline-devel gcc make patch gdbm-devel openssl-devel sqlite-devel readline-dev 阅读全文
posted @ 2023-03-13 15:25 zhangdapangzi 阅读(139) 评论(0) 推荐(0) 编辑
 
3.datax-web搭建
摘要： 1.路径 mkdir /home/datax-web cd /home/datax-web 2.下载 https://github.com/WeiYe-Jing/datax-web https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg 密码：cpsk 3.解 阅读全文
posted @ 2023-03-13 15:23 zhangdapangzi 阅读(126) 评论(0) 推荐(0) 编辑
 
8.crontab+datax定时执行同步任务
摘要： # 添加定时任务crontab -e#每天23点50分执行sh脚本50 23 * * * /opt/datax/sync_gym_course_add.sh#每隔30分钟执行sh脚本*/30 * * * * /opt/datax/sync_gym_course_add.sh #查看crontab日志 阅读全文
posted @ 2023-03-13 15:19 zhangdapangzi 阅读(293) 评论(0) 推荐(0) 编辑
 
4.centos8 yum直接安装简单配置nginx
摘要： 1.安装nginx yum install -y nginx 2.启动nginx systemctl start nginx.service 3.设置开机自启 systemctl enable nginx.service 4.nginx 配置信息 网站文件存放默认位置（Welcome to ngin 阅读全文
posted @ 2023-03-13 15:16 zhangdapangzi 阅读(139) 评论(0) 推荐(0) 编辑
 
2.查看sql server进程
摘要： SELECT SPID = er.session_id ,Status = ses.status ,[Login] = ses.login_name ,Host = ses.host_name ,BlkBy = er.blocking_session_id ,DBName = DB_Name(er. 阅读全文
posted @ 2023-03-13 15:13 zhangdapangzi 阅读(102) 评论(0) 推荐(0) 编辑
 
22.docker mysql定时增量备份数据库
摘要： 遇到的问题： 查看mysql-bin-00001日志内容，默认配置用户对/var/lib/mysql下的binlog文件没有读的权限，只有写的权限，所以需要先对该用户赋权： chown -R mysql:huichao /var/lib/mysql 查看日志内容： mysqllogbin /var/ 阅读全文
posted @ 2023-03-13 15:12 zhangdapangzi 阅读(73) 评论(0) 推荐(0) 编辑
 
21.docker mysql定时全量备份数据库
摘要： #先运行全量备份，再运行增量备份 #!/bin/sh #需求,对数据库进行全量备份 #备份日期 dumpDate=$(date "+%Y%m%d") #三天前的日期 old=$(date -d"3 day ago" +"%Y%m%d") #备份开始详细时间 startTime=$(date "+%Y 阅读全文
posted @ 2023-03-13 15:11 zhangdapangzi 阅读(123) 评论(0) 推荐(0) 编辑