摘要: 异常明细 Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The sche 阅读全文
posted @ 2023-10-20 15:21 faronzz 阅读(97) 评论(0) 推荐(0) 编辑
摘要: # pyflink基础环境构建及任务运行 > #Flink #pyflink #部署 ## 本地开发环境构建 ### 准备 * java 8或者 java11 已经可以使用 * 本地拥有 python 或者 miniconda(建议),一下内容使用 conda管理虚拟环境 ```sh java -v 阅读全文
posted @ 2023-08-17 16:40 faronzz 阅读(373) 评论(0) 推荐(0) 编辑
摘要: python之APScheduler模块使用 介绍 主要模块 使用 介绍 需要使用定时任务, 简单的可以使用cron模块完成, 考虑到window及linux的通用性, 使用APScheduler模块实现 文档地址 windows和linux下都能使用 解决几种类型的定时任务 一次性延时运行: 在设 阅读全文
posted @ 2020-05-21 13:03 faronzz 阅读(726) 评论(0) 推荐(0) 编辑
摘要: 搭建storm本地python开发环境 需要使用python进行storm的开发,这里记录本地开发环境搭建,过程中使用的资源gitee中下载 centos7 普通用户 python 3.5.1 jdk 1.8.0 storm 1.1.0 lein+streamparse 本地用户faron, 根目录 阅读全文
posted @ 2020-05-15 10:16 faronzz 阅读(615) 评论(0) 推荐(1) 编辑
摘要: 多进程处理(Multiprocessing) 介绍 python的多进程处理,这里使用的是multiprocessing模块;首先要了解Cpython解释器中GIL(global interpreter lock)对python处理多线程程序的影响,然后为了提高并发任务(前提是你需要)运行效率 实例 阅读全文
posted @ 2019-10-22 21:08 faronzz 阅读(93) 评论(0) 推荐(0) 编辑