04 2020 档案
摘要:问题 执行 spark-submit --master local模式时产生warn并达重试数限制失败,导致spark local不能启动: ... WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port
阅读全文
摘要:python2/python3 升级对比 0、环境说明 linux 3.2.54 pyhton2.7 升级到 pyhton3.6 1、特性比较 catch语法:catch xxx, xx => catch xxx as xx print语法:print xxx => print(xxx) urlli
阅读全文
摘要:1、安装python、spark、java 环境版本: debian7 python3.6 java1.8 spark-2.4.0-bin-hadoop2.6 如果有网络可尝试用apt-get与pip下载安装,离线环境可下载使用安装包 可以指定安装pyspark版本 pip3.6 install p
阅读全文
摘要:YARN 调度器 1、FIFO(先进先出调度器) 单队列,任务独占所有资源,先进先出; 优点:简单不需配置; 缺点:大集群中大小任务都会阻塞; 2、Capacity(容量调度器) 多队列(单队列FIFO),支持配额,弹性队列,延迟调度(等待别的队列容器释放而非抢占) 优点:相比FIFO更适用于集群
阅读全文
摘要:背景 强kill卡顿MySQL实例 重启错误 InnoDB: Error: page xxx log sequence number xx xxx InnoDB: is in the future! Current system log sequence number xx xxx. 问题 MySQ
阅读全文
摘要:背景 分布式系统多台服务器同时访问MySQL,但由于密码错误等原因导致MySQL服务器产生WAIT_TIME连接,其abort_connected指标程线性增长; 问题 MySQL服务器产生异常 WAIT_TIME连接,数量大可能导致MySQL服务异常或耗尽MySQL连接数; abort_conne
阅读全文
摘要:NTP工作原理 1、NTP(Network Time Protocol, 网络时间协议)是由RFC 1305定义的时间同步协议,基于UDP协议进行传输,端口号是 123;2、同步时钟过程需要记录四个时间点:离开被同步设备时间T1、达到同步设备时间T2、离开同步是被时间T3、回到被同步设备时间T4,由
阅读全文
摘要:问题: kudu 进程运行一段时候后突然宕掉,查看日志出现clock error:Sep 17, 8:32:31.135 PM FATAL tablet_server_main.cc:38 Check failed: _s.ok() Bad status: Service unavailable:
阅读全文
摘要:问题: presto 查询hive TextInputFormat 格式表错误: 解决: 复制 hadoop share/hadoop 下的相关jar包(lzo)到 presto plugins/hive-hadoop2 (配置文件指定)下; 机器安装lzop; 重启presto 参考: https
阅读全文