摘要: 记录以备忘备查 原来的文件名:UPLOAD_DI_CMS_tianjin_dwd_cst_payflow 重命名后的文件名:UPLOAD_DI_CMS_tianjin_dwd_cst_payflow-20210129.txt 文件内第一行的内容格式: 2021-01-29 04:08:32 INFO 阅读全文
posted @ 2021-02-02 17:20 东围居士 阅读(1740) 评论(0) 推荐(0) 编辑
摘要: 本文讲述:本地 Flink 1.7.0 (Java SDK) 读取本地 Kafka 数据,不做任何处理直接打印输出到控制台 环境:win10 + WSL 0. 下载 Flink 及 Kafka 并解压 步骤略过 1. 启动 Kafka 并创建 topic 以下命令都在解压后的 Kafka 文件夹内执 阅读全文
posted @ 2021-01-08 15:48 东围居士 阅读(6393) 评论(0) 推荐(1) 编辑
摘要: 解压 根目录下创建 data 文件夹 根目录下创建 my.ini 文件 文件内应至少放上以下内容 具体路径改为自己电脑上的 [mysqld] basedir=D:/Download/mysql-8.0.22-winx64 datadir=D:/Download/mysql-8.0.22-winx64 阅读全文
posted @ 2020-12-04 16:50 东围居士 阅读(341) 评论(0) 推荐(0) 编辑
摘要: 如下图 创建项目的命令如下: mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-scala -DarchetypeVersion=1.9.0 -Dgrou 阅读全文
posted @ 2020-11-22 11:48 东围居士 阅读(2664) 评论(1) 推荐(0) 编辑
摘要: 使用beeline 连接 hive 报标题所示错误。 连接语句: !connect jdbc:hive2://localhost:10000/default 在输入用户名和密码后,出现错误: 20/10/24 20:28:38 [main]: WARN jdbc.HiveConnection: Fa 阅读全文
posted @ 2020-10-24 22:06 东围居士 阅读(3810) 评论(0) 推荐(0) 编辑
摘要: 包括 namenode 和 datanode 在内都没有启动。JPS查看不到除了它本身之外的任何进程 查看 out 文件内容如下: 1 2020-10-19 20:10:50,206 ERROR [main] namenode.NameNode (NameNode.java:1587) - Fail 阅读全文
posted @ 2020-10-19 20:17 东围居士 阅读(926) 评论(0) 推荐(0) 编辑
摘要: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文
posted @ 2020-09-07 22:44 东围居士 阅读(602) 评论(0) 推荐(0) 编辑
摘要: 主要出错信息: > Could not resolve all artifacts for configuration ':classpath'. > Could not resolve com.cinnober.gradle:semver-git:2.2.3. Required by: proje 阅读全文
posted @ 2020-09-06 11:33 东围居士 阅读(2745) 评论(1) 推荐(0) 编辑
摘要: 当运行中出现Container is running beyond physical memory这个问题出现主要是因为物理内存不足导致的,在执行mapreduce的时候,每个map和reduce都有自己分配到内存的最大值,当map函数需要的内存大于这个值就会报这个错误,解决方法: 在mapredu 阅读全文
posted @ 2020-09-04 19:57 东围居士 阅读(323) 评论(0) 推荐(0) 编辑
摘要: 现象: 执行 start-yarn.sh 后再执行JPS 发现没有 resourcemanager 进程,同时 localhost:8080 页面也打不开,查看日志文件 logs/yarn-hadoop-resourcemanager-Cavin-Y7000.log 发现报错信息中有如下语句: or 阅读全文
posted @ 2020-09-04 00:50 东围居士 阅读(3358) 评论(0) 推荐(1) 编辑
摘要: 本文全部内容均来源于《数据资产管理实践白皮书(3.0)》 http://www.caict.ac.cn/kxyj/qwfb/bps/201812/t20181214_190696.htm 1. 概念 数据资产 是指由企业拥有或控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如 阅读全文
posted @ 2020-06-07 23:16 东围居士 阅读(1168) 评论(0) 推荐(0) 编辑
摘要: 效果图: 阅读全文
posted @ 2020-05-19 11:10 东围居士 阅读(5025) 评论(0) 推荐(1) 编辑
摘要: 在 pom.xml 中添加了如下配置后,打包出来的依然是普通的 xxxx.jar 文件,并没有后面的 ,经过网上多方寻找之后,参考 "这篇文章" 得到解决 原因是以上配置被放置在了 里面了,把以上配置放在 外面即可。或者直接不要 再次执行命令打包: 阅读全文
posted @ 2020-03-27 20:48 东围居士 阅读(1707) 评论(0) 推荐(0) 编辑
摘要: 在某个网课中讲师给的示例是这样的: 可能是版本的问题,讲师用的是 1 点几的 django,而我使用的是 django3,在 django3 中这样写会报 SQL 错误: 经过多方查询,在 "stackoverflow" 上看到了国外网友的回答才知道正确的设置方法是在多个设置项之间使用逗号分隔,并且 阅读全文
posted @ 2020-03-07 22:59 东围居士 阅读(610) 评论(0) 推荐(0) 编辑
摘要: 场景是这样的: 在 mysql 库中有一张日报表,表中是本省各地市的一些指标,地市名称使用中文名字表示。 如 |城市|人口| | | | |广州市|300| |深圳市|400| 然后在一个 excel 文件中也有类似的二维表 |城市|人口| | | | |深圳市|| |广州市|| 需要从 mysql 阅读全文
posted @ 2020-03-05 21:06 东围居士 阅读(816) 评论(0) 推荐(0) 编辑
摘要: centos7 python2 环境下安装 openpyxl 时报错 网上多次查验后,参照 "这里" 的说法,更新 后再次 解决 阅读全文
posted @ 2020-03-05 15:17 东围居士 阅读(1442) 评论(0) 推荐(0) 编辑
摘要: 设置单元格底色 RGB 颜色值,通用性强 或者 的每个数值代码的颜色可以到网上查 设置单元格边框 表示的是单元格区域内部的所有横向边,类似的 表示的是内部纵向边,其它类似的还有上边、下边、左边、右边等 对齐设置 设置字体颜色 在工作薄内增加新的工作表 设置超链接 连接至同工作薄内的指定工作表 阅读全文
posted @ 2020-02-08 21:07 东围居士 阅读(1281) 评论(0) 推荐(0) 编辑
摘要: 本文所使用的 Scrapy 版本: 一个 Scrapy 项目下可能会有多个爬虫,本文陈述两种情况: 1. 多个爬虫 2. 所有爬虫 显然,这两种情况并不一定是等同的。假设当前项目下有 3 个爬虫,分别名为:route、dining、experience,并在项目目录下创建一个 文件,下面的示例代码都 阅读全文
posted @ 2019-11-19 14:25 东围居士 阅读(2471) 评论(0) 推荐(0) 编辑
摘要: 1. "阿里技术 https://102.alibaba.com/" 2. "美团技术团队 https://tech.meituan.com/" 3. "360 核心安全技术博客 http://blogs.360.cn" 4. "腾讯 web 前端 http://www.alloyteam.com/ 阅读全文
posted @ 2019-10-28 10:08 东围居士 阅读(295) 评论(0) 推荐(1) 编辑
摘要: VBA 中的用户窗体就是指带 UI 的用户界面,在运行的时候会单独弹出一个窗口,类似于在 windows 系统中运行的一个可执行程序一样(这个说法不太严谨,因为可执行程序也可能是只有命令窗口而没有 UI 的)。再具体一点,就是一个窗口界面当中,有可能会包含有文本框、复选框、单选按钮、下拉列表,就如在 阅读全文
posted @ 2019-10-02 22:41 东围居士 阅读(31408) 评论(1) 推荐(5) 编辑