摘要: 1.共享存储安装教程参见:Linux 环境下 NFS 服务安装及配置使用_哎_小羊的博客-CSDN博客_linux nfs 配置 2.配置好nfs后可能存在flink提交任务时无法在共享目录创建目录或文件等权限问题,主要原因是用户id映射问题 参考连接:1.鸟哥的 Linux 私房菜 -- NFS 阅读全文
posted @ 2021-07-16 10:40 一直爬行的蜗牛牛 阅读(705) 评论(0) 推荐(0) 编辑
摘要: 0.在PC端安装华为手机助手,备份需要备份的用户数据(在解锁bl时会清除用户数据): 1.降级emui10 -> emui9.1: 方法: a.继续在华为手机助手上点击系统更新: b.选择对应的emui9.1版本,点击恢,之后等待10分钟左右系统回退成功,手机重启 2.获取honor10 col-a 阅读全文
posted @ 2021-06-27 18:06 一直爬行的蜗牛牛 阅读(6202) 评论(0) 推荐(0) 编辑
摘要: 1.执行start-cluster.sh脚本时要特别注意: a.当是zookeeper高可用集群时,在任何一个flink节点执行该脚本时,jobmanager会根据masters文件中的配置依次在masters文件配置节点上启动 b.当非zookeeper高可用集群时,在任何一个flink节点执行该 阅读全文
posted @ 2020-12-17 16:16 一直爬行的蜗牛牛 阅读(1826) 评论(0) 推荐(0) 编辑
摘要: CentOS7 修改默认时区为 北京时间 首先同步时间 yum install -y ntpdate ntpdate -u cn.pool.ntp.org 然后设置中国时区(北京时间) timedatectl set-timezone Asia/Shanghai 阅读全文
posted @ 2020-08-18 11:56 一直爬行的蜗牛牛 阅读(1016) 评论(0) 推荐(0) 编辑
摘要: taskmanager.memory.process.size: 4096m -Xmx1748185876(1667M,flink web界面显示的java heap size) -Xms1748185876 -XX:MaxDirectMemorySize=510698460(487M) -XX:M 阅读全文
posted @ 2020-03-12 16:55 一直爬行的蜗牛牛 阅读(4661) 评论(0) 推荐(0) 编辑
摘要: 例如有文件test.txt格式如下: aaa:1 bbb:2 cat a|awk -F\: '{print"+"$2}'|xargs echo 0|bc -l 阅读全文
posted @ 2019-04-26 15:05 一直爬行的蜗牛牛 阅读(1366) 评论(0) 推荐(0) 编辑
摘要: elasticsearch系列七:ES Java客户端-Elasticsearch Java client(ES Client 简介、Java REST Client、Java Client、Spring Data Elasticsearch) 一、ES Client 简介 1. ES是一个服务,采 阅读全文
posted @ 2018-12-29 12:32 一直爬行的蜗牛牛 阅读(2280) 评论(0) 推荐(0) 编辑
摘要: 1.使用官方提供的/namespaces/namespace创建namespace失败,返回500,官方提供示例:/namespaces/namespace POST 创建一个新的namespace. curl -vi -X POST \ -H "Accept: text/xml" \"exampl 阅读全文
posted @ 2018-12-27 10:47 一直爬行的蜗牛牛 阅读(615) 评论(0) 推荐(0) 编辑
摘要: 关于报错happybase 是使用python连接hbase的一个第三方库,目前基于thrift1 。在使用过程中经常碰到报错 TTransportException(type=4, message='TSocket read 0 bytes') 即使使用thrift server首页上提供了连接A 阅读全文
posted @ 2018-12-26 12:38 一直爬行的蜗牛牛 阅读(4631) 评论(0) 推荐(0) 编辑
摘要: 通过spark提交的spark开头的配置在程序启动后会添加到SparkConf中,但是hadoop相关的配置非spark开头会被过滤掉,但是只要在这些配置的key前面添加spark.hadoop.前缀,则该key就不会被过滤,会被放置到SparkConf中;最终会存储在Configuration 对 阅读全文
posted @ 2018-12-17 17:55 一直爬行的蜗牛牛 阅读(1997) 评论(0) 推荐(0) 编辑