摘要：
doc或docx(word)或image类型文件批量转PDF脚本 1.实际生产环境中遇到文件展示只能适配PDF版本的文件，奈何一万个文件有七千个都是word或者image类型的，由此搞个脚本批量转换下上传至OSS，为前端提供数据支撑。 2.环境准备，这里使用的是aspose-words-18.6-j 阅读全文
摘要：
PyODPS获取MaxComputer数据仓中业务表的最新更新时间并输出 1.准备两张数据表： 1.1 需要统计的库表中间表： CREATE TABLE IF NOT EXISTS dim_river_system_business_time ( `id` STRING COMMENT '序号', 阅读全文
摘要：
Tcpdump 抓包工具使用以及Wireshark解析pacp包 参考链接(比较详细)：https://blog.csdn.net/weixin_42866036/article/details/128004750 1.项目上数据在共享时，由于接口有Token鉴权动作，有时调用接口会出现鉴权失效问题 阅读全文
摘要：
ODPS/MaxComputer 自定义UDF、UDTF函数 前置条件： 创建Maven工程导入jar包和打包工具： <dependency> <groupId>com.aliyun.odps</groupId> <artifactId>odps-sdk-udf</artifactId> <vers 阅读全文
摘要：
ArrayList/MySQL数据集合写入Excel 1.文章概述： 写入 Excel 文件通常需要使用一些库或工具，而"EasyExcel"通常是指的阿里巴巴开源的EasyExcel库。这个库可以让我们在Java中简便地进行Excel文件的读写操作。 2.导入配置： <dependency> <g 阅读全文
摘要：
MySQL 使用delete/insert into/update 大量数据表锁死，kill的线程后线程处于killed状态问题解决 实际生产环境问题描述： 使用Navicat备份BigData数据表时不小心点到了取消按钮，导致数据表被锁。 查看MySQL线程队列，找到刚刚执行的SQL看是属于什么状 阅读全文
摘要：
参考连接:https://www.cnblogs.com/gaoyanbing/p/12956914.html 阅读全文
摘要：
时序数据库部署步骤 1.influxdb是目前比较流行的时间序列数据库。 何谓时间序列数据库？什么是时间序列数据库，最简单的定义就是数据格式里包含Timestamp字段的数据，比如某一时间环境的温度，CPU的使用率等。但是，有什么数据不包含Timestamp呢？几乎所有的数据其实都可以打上一个Tim 阅读全文
摘要：
MaxComputer/ODPS使用pyODPS将计算值写入ODPS指定数据表中 阿里云官方参考文档：https://help.aliyun.com/document_detail/90412.html#section-pwz-bql-cfb 存在问题： 如果调用接口，网络环境需要考虑！ 将数据写入 阅读全文
摘要：
目录章节： 1.pom.xml导入kafka依赖包； 2.kafka普通生产者实现方式； 3.kafka带回调函数的生产者； 4.生产者自定义分区； 4.1使用自定义分区 1.pom.xml导入kafka依赖包： <!--kafka依赖--> <dependency> <groupId>org.ap 阅读全文