明明就-

2021年8月13日

摘要：一、前提 1.预装Python3环境 2.安装相关库二、代码如下 import time import pymysql import pandas as pd from datetime import datetime,timedelta t1=datetime.strftime(datetime 阅读全文

posted @ 2021-08-13 18:30 明明就- 阅读(63) 评论(0) 推荐(0) 编辑

Git的基本操作

摘要： Git是目前世界上最先进的分布式版本控制系统 --Linus Torvalds(林纳斯·托瓦兹) 版本管理系统的作用： 1）协同开发 2）冲突解决 3）版本记录（复原） 4）历史追查 5）代码备份 6）权限管理 7）分支管理 8）代码审查 git status --显示列表中的文件 1）只显示上传到阅读全文

posted @ 2021-08-13 18:27 明明就- 阅读(51) 评论(0) 推荐(0) 编辑

2021年8月12日

Hadoop MapReduce概论

摘要： Hadoop MapReduce MapReduce是一个分布式运算程序的编程框架，是基于Hadoop的数据分析计算的核心框架。 MapReduce处理过程分为两个阶段：Map 和 Reduce Map负责把一个任务分解成多个任务。 Reduce负责把分解后多任务处理的结果汇总。 MapReduce 阅读全文

posted @ 2021-08-12 10:33 明明就- 阅读(172) 评论(0) 推荐(0) 编辑

2021年8月9日

Shell:Kafka集群群起脚本

摘要：一、环境准备 1.Kafka安装成功且配置好环境变量 2.Kafka配置成集群状态，broker_id配置成功二、群起脚本 Kafka路径：/opt/module/kafka/ #!/bin/bash case $1 in "start"){ for i in hadoop1 hadoop2 ha 阅读全文

posted @ 2021-08-09 16:52 明明就- 阅读(170) 评论(0) 推荐(1) 编辑

2021年8月6日

Maxwell同步Mysql数据库写入Kafka

摘要：前提环境：Zookeeper集群，Kafka集群，安装Mysql，配置Binlog。一、Maxwell简介 Maxwell就是把自己伪装成slave，假装从master复制数据。 Maxwell 是由美国Zendesk开源，用Java编写的MySQL实时抓取软件。实时读取MySQL二进制日志Bi 阅读全文

posted @ 2021-08-06 18:36 明明就- 阅读(518) 评论(0) 推荐(0) 编辑

安装Maxwell和无密码进入数据库

摘要：遇到的问题 1.分配一个账号可以操作数据库 grant all on maxwell.* to 'maxwell'@'%' identified by '000000'; 遇到的问题：解决办法：先刷新一遍数据库 flush privileges; 然后再输入命令 2.无密码进去mysql 2.1 阅读全文

posted @ 2021-08-06 17:34 明明就- 阅读(98) 评论(0) 推荐(0) 编辑

Linux环境下查找Mysql的my.cnf文件

摘要： linux版本是my.cnf，一般会放在/etc/my.cnf，/etc/mysql/my.cnf win下的是my.ini，一般会在安装目录的根目录使用查询命令 find / -name my.cnf 路径：/usr/my.cnf 阅读全文

posted @ 2021-08-06 15:23 明明就- 阅读(716) 评论(0) 推荐(0) 编辑

Linux查询文件路径

摘要：查询文件my.cnf find / -name my.cnf 阅读全文

posted @ 2021-08-06 15:20 明明就- 阅读(443) 评论(0) 推荐(0) 编辑

Maven的安装图文教程

摘要：一、已安装了JDK环境二、下载Maven https://maven.apache.org/ 三、解压下载到本地后，是压缩包的格式，进行解压。路径：D:\apache-maven-3.8.1 四、设置环境变量不要忘记还需要在PATH中添加五、验证安装六、setting文件配置这步骤配置阅读全文

posted @ 2021-08-06 11:45 明明就- 阅读(496) 评论(0) 推荐(0) 编辑

Mongo在DataWorks中的使用

摘要：一、query语句，制定数据同步规则。同步2021-07-05一天的数据 "{'createTime':{'$gt':NumberLong('1625414400000'),'$lt':NumberLong('1625500800000')}}" 二、您可以通过该配置型来限制返回MongoDB数阅读全文

posted @ 2021-08-06 11:23 明明就- 阅读(275) 评论(0) 推荐(0) 编辑

公告