黑水滴

2022年3月24日

摘要：一、pom文件 https://www.cnblogs.com/robots2/p/16048648.html 二、代码demo FlinkBaseSource.java package net.xdclass.class4; import org.apache.flink.api.common.R 阅读全文

posted @ 2022-03-24 10:54 黑水滴阅读(130) 评论(0) 推荐(0) 编辑

Flink Maven项目，依赖配置pom.xml

摘要： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文

posted @ 2022-03-24 10:50 黑水滴阅读(2299) 评论(0) 推荐(0) 编辑

2022年3月23日

VsCode 配置python开发环境

摘要：一、配置环境 1、选择python解释器版本输入：Command+shift+P 搜索：Python: Select Interpreter 2、安装包指定版本： pip install PyHive==0.6.5 不指定版本：pip install PyHive 3、更新pip3 python 阅读全文

posted @ 2022-03-23 20:26 黑水滴阅读(784) 评论(0) 推荐(0) 编辑

Python常用包

摘要：一、Web框架: Tornado，访问：http://www.tornadoweb.org/en/stable/ Flask，访问：http://flask.pocoo.org/ Web.py，访问：http://webpy.org/ django：https://www.djangoproject 阅读全文

posted @ 2022-03-23 20:08 黑水滴阅读(194) 评论(0) 推荐(0) 编辑

waterdrop同步mysql数据到hive

摘要：一、shell类型任务，提交到yarn集群 #!bin/bash# 数据源配置，只读账号 jdbc_url="数据库ip:3306"database="数据名"username="账号"password="密码"# 目标hive表配置 target_table="hive库.hive表"target 阅读全文

posted @ 2022-03-23 16:57 黑水滴阅读(519) 评论(0) 推荐(0) 编辑

2022年3月19日

Flink 部署和整体架构

摘要：一、Flink运行部署模式和流程部署模式： 1、Local 本地部署，直接启动进程，适合调试使用 2、Standalone Cluster集群部署，flink自带集群模式 3、On Yarn 计算资源统一由Hadoop YARN管理资源进行调度，按需使用提高集群的资源利用率，生产环境运行流程 1 阅读全文

posted @ 2022-03-19 20:16 黑水滴阅读(340) 评论(0) 推荐(0) 编辑

2022年3月17日

Presto常用命令

摘要：一、常用命令 1、官方文档：https://prestodb.io/docs/current/connector/system.html?highlight=kill 2、kill任务，登录presto客户端 CALL system.runtime.kill_query(query_id => '2 阅读全文

posted @ 2022-03-17 16:46 黑水滴阅读(429) 评论(0) 推荐(0) 编辑

2022年3月16日

Flink程序异常--CommunicationsException: The last packet successfully received from the server was

摘要：一、异常截图 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received from the server was 46,912,998 milliseconds ago. 阅读全文

posted @ 2022-03-16 10:20 黑水滴阅读(850) 评论(0) 推荐(0) 编辑

2022年3月15日

Git常用命令总结

摘要：一、常用拉取提交代码 1、拉取代码基本拉取：git clone [git地址] 拉取并保存账号：git clone https://账号:密码@gitee.com/robots2/test.git 2、本地修改代码后查看调整 git pull：获取当前分支最新代码 git pull origin 阅读全文

posted @ 2022-03-15 14:26 黑水滴阅读(173) 评论(0) 推荐(0) 编辑

2022年3月10日

Flink批处理-简单案例-01

摘要：一、简单案例 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 阅读全文

posted @ 2022-03-10 09:53 黑水滴阅读(356) 评论(0) 推荐(0) 编辑

公告