会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
寒冰之光
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
下一页
2021年9月30日
smartchart社区版入门链接
摘要: SmartChart社区版 | 专注于敏捷的数据处理与分析
阅读全文
posted @ 2021-09-30 16:30 寒冰之光
阅读(139)
评论(0)
推荐(0)
编辑
Flink测试程序以及发布到服务器
摘要: 测试程序:从kafka中读取车辆定位数据,进行计算过滤,将超出指定电子围栏区域的定位数据保存到mysql,以便于后续进一步处理。 该测试程序源自业务部门的需求:对监控的车辆行驶轨迹进行实时分析,如果超出电子围栏区域则需要及时报警处理。由于这个场景的实时性要求高,因此比较适合用flink来直接处理。如
阅读全文
posted @ 2021-09-30 12:05 寒冰之光
阅读(537)
评论(0)
推荐(0)
编辑
2021年9月29日
Flink1.13.2版本 Standalone 模式部署
摘要: Flink的部署有3种模式,分别是local模式、Standalone模式、yarn模式。其中local就是单机模式,一般来说用于本地开发测试;Standalone跟yarn模式都可以支撑集群部署、实现HA,但是两者在任务分配机制、内存管理等内容上有比较大的差异。一般在处理计算数据量级非常大的生产环
阅读全文
posted @ 2021-09-29 17:57 寒冰之光
阅读(941)
评论(0)
推荐(0)
编辑
2021年9月13日
centos启动时执行脚本
摘要: 有时我们需要系统启动的时候自动执行某个脚本,例如开机自动启动be服务启动脚本start_be.sh: 1、为系统启动文件添加权限 chmod +x /etc/rc.d/rc.local 2、为你需要开机执行的脚本文件添加权限 chmod +x /home/be/bin/start_be.sh 3、修
阅读全文
posted @ 2021-09-13 11:27 寒冰之光
阅读(583)
评论(0)
推荐(0)
编辑
2021年9月10日
服务器监控软件cockpit安装
摘要: 如何在Linux上安装服务器管理软件Cockpit | 《Linux就该这么学》 (linuxprobe.com)
阅读全文
posted @ 2021-09-10 17:18 寒冰之光
阅读(58)
评论(0)
推荐(0)
编辑
2021年8月31日
记录一次doris BE重启故障(BE无法启动,file descriptors limit is too small)
摘要: 在测试环境上安装了3台BE节点,按照业务要求尽可能压入多的数据,观察doris的入库速度及大数据量下的查询响应速度。使用测试程序压入了20亿条记录,过程中运行一直都很稳定。完成压入后,因为感觉count(*)效率变低、压入新的表数据发生超时的问题,于是决定重启BE节点,结果发现BE无法启动了。 ——
阅读全文
posted @ 2021-08-31 18:15 寒冰之光
阅读(4762)
评论(0)
推荐(0)
编辑
2021年7月5日
mysql安装
摘要: 1、官网下载mysql文件MySQL :: Download MySQL Community Server 。我下载的是5.7.33, 64位版本压缩包; 2、下载后直接解压生成本地目录; 3、进入目录bin,新建mysql.ini文件,修改内容如下: [mysql] # 设置mysql客户端默认字
阅读全文
posted @ 2021-07-05 16:06 寒冰之光
阅读(40)
评论(0)
推荐(0)
编辑
2021年6月7日
centos升级openSHH到8.5p1
摘要: 参考:OpenSSH 8.5p1 离线升级修复(CVE-2020-15778)漏洞 - 哔哩哔哩专栏 (bilibili.com)
阅读全文
posted @ 2021-06-07 16:35 寒冰之光
阅读(64)
评论(0)
推荐(0)
编辑
2021年5月11日
streamsets实现kafka数据到hbase入库
摘要: 前期已经实现通过kettle将车辆定位数据从oracle增量同步入到hbase里,运行了一段时间还算稳定。但是kettle毕竟跟cdh是两套体系,而cdh里自带了streamsets,是其体系下“正牌”etl工具。考虑到以后都通过cdh来管理维护更方便,决定尝试通过streamsets来实现数据et
阅读全文
posted @ 2021-05-11 09:57 寒冰之光
阅读(668)
评论(0)
推荐(0)
编辑
2021年4月28日
windows桌面程序集成webbrowser控件实现与高德地图的互操作
摘要: 运行效果如下:在桌面程序中访问高德地图,通过cs代码调用高德js接口实现多边形区域动态添加;通过鼠标点击事件实现当前位置经纬度采集并传递给cs代码,判断点击位置是否在指定的区域内。 项目结构如下: 核心代码如下: 窗口代码: using System;using System.Collections
阅读全文
posted @ 2021-04-28 11:57 寒冰之光
阅读(570)
评论(0)
推荐(0)
编辑
上一页
1
2
3
4
下一页
公告