摘要: SmartChart社区版 | 专注于敏捷的数据处理与分析 阅读全文
posted @ 2021-09-30 16:30 寒冰之光 阅读(139) 评论(0) 推荐(0) 编辑
摘要: 测试程序:从kafka中读取车辆定位数据,进行计算过滤,将超出指定电子围栏区域的定位数据保存到mysql,以便于后续进一步处理。 该测试程序源自业务部门的需求:对监控的车辆行驶轨迹进行实时分析,如果超出电子围栏区域则需要及时报警处理。由于这个场景的实时性要求高,因此比较适合用flink来直接处理。如 阅读全文
posted @ 2021-09-30 12:05 寒冰之光 阅读(537) 评论(0) 推荐(0) 编辑
摘要: Flink的部署有3种模式,分别是local模式、Standalone模式、yarn模式。其中local就是单机模式,一般来说用于本地开发测试;Standalone跟yarn模式都可以支撑集群部署、实现HA,但是两者在任务分配机制、内存管理等内容上有比较大的差异。一般在处理计算数据量级非常大的生产环 阅读全文
posted @ 2021-09-29 17:57 寒冰之光 阅读(941) 评论(0) 推荐(0) 编辑
摘要: 有时我们需要系统启动的时候自动执行某个脚本,例如开机自动启动be服务启动脚本start_be.sh: 1、为系统启动文件添加权限 chmod +x /etc/rc.d/rc.local 2、为你需要开机执行的脚本文件添加权限 chmod +x /home/be/bin/start_be.sh 3、修 阅读全文
posted @ 2021-09-13 11:27 寒冰之光 阅读(583) 评论(0) 推荐(0) 编辑
摘要: 如何在Linux上安装服务器管理软件Cockpit | 《Linux就该这么学》 (linuxprobe.com) 阅读全文
posted @ 2021-09-10 17:18 寒冰之光 阅读(58) 评论(0) 推荐(0) 编辑
摘要: 在测试环境上安装了3台BE节点,按照业务要求尽可能压入多的数据,观察doris的入库速度及大数据量下的查询响应速度。使用测试程序压入了20亿条记录,过程中运行一直都很稳定。完成压入后,因为感觉count(*)效率变低、压入新的表数据发生超时的问题,于是决定重启BE节点,结果发现BE无法启动了。 —— 阅读全文
posted @ 2021-08-31 18:15 寒冰之光 阅读(4762) 评论(0) 推荐(0) 编辑
摘要: 1、官网下载mysql文件MySQL :: Download MySQL Community Server 。我下载的是5.7.33, 64位版本压缩包; 2、下载后直接解压生成本地目录; 3、进入目录bin,新建mysql.ini文件,修改内容如下: [mysql] # 设置mysql客户端默认字 阅读全文
posted @ 2021-07-05 16:06 寒冰之光 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 参考:OpenSSH 8.5p1 离线升级修复(CVE-2020-15778)漏洞 - 哔哩哔哩专栏 (bilibili.com) 阅读全文
posted @ 2021-06-07 16:35 寒冰之光 阅读(64) 评论(0) 推荐(0) 编辑
摘要: 前期已经实现通过kettle将车辆定位数据从oracle增量同步入到hbase里,运行了一段时间还算稳定。但是kettle毕竟跟cdh是两套体系,而cdh里自带了streamsets,是其体系下“正牌”etl工具。考虑到以后都通过cdh来管理维护更方便,决定尝试通过streamsets来实现数据et 阅读全文
posted @ 2021-05-11 09:57 寒冰之光 阅读(668) 评论(0) 推荐(0) 编辑
摘要: 运行效果如下:在桌面程序中访问高德地图,通过cs代码调用高德js接口实现多边形区域动态添加;通过鼠标点击事件实现当前位置经纬度采集并传递给cs代码,判断点击位置是否在指定的区域内。 项目结构如下: 核心代码如下: 窗口代码: using System;using System.Collections 阅读全文
posted @ 2021-04-28 11:57 寒冰之光 阅读(570) 评论(0) 推荐(0) 编辑