2023年5月26日

发表于 2023-05-26 13:44阅读：44评论：0推荐：0

摘要： [TOC] # SparkSQL ## 数据抽象 > SparkCore 的数据抽象：RDD > > SparkStreaming 的数据抽象：DStream，底层是RDD > > SparkSQL 的数据抽象：DataFrame 和 DataSet，底层是RDD ![](https://img20 阅读全文 »

posted @ 2023-05-26 13:44 王双颖阅读(44) 评论(0) 推荐(0) 编辑

2023年5月22日

批量执行mysql文件

发表于 2023-05-22 10:28阅读：44评论：0推荐：0

摘要： # mysqldump Mysql数据备份恢复 [TOC] ## 一、需求 - 实现Mysql数据库备份与恢复 > ``` > /** > * mysqldump命令 > * 备份库 > * 备份所有数据库：mysqldump -h 主机IP -uroot -p --all-database > / 阅读全文 »

posted @ 2023-05-22 10:28 王双颖阅读(44) 评论(0) 推荐(0) 编辑

mysqldump Mysql数据备份恢复

发表于 2023-05-22 10:16阅读：67评论：0推荐：0

摘要： # mysqldump Mysql数据备份恢复 ## 一、需求 - 实现Mysql数据库备份与恢复 > ``` > /** > * mysqldump命令 > * 备份库 > * 备份所有数据库：mysqldump -h 主机IP -uroot -p --all-database > /usr/db 阅读全文 »

posted @ 2023-05-22 10:16 王双颖阅读(67) 评论(0) 推荐(0) 编辑

2023年4月25日

【20230424】logstash生产开发总结汇总

发表于 2023-04-25 10:38阅读：80评论：0推荐：0

摘要： logstash 生产开发总结汇总 ==本文主要讲使用 Logstash 生产开发操作、遇到问题及处理== 时间：20230424 logstash版本：logstash7.8.1 官网：https://www.elastic.co/cn/logstash/ 一、基础开发简单的启动脚本 #!/bi 阅读全文 »

posted @ 2023-04-25 10:38 王双颖阅读(80) 评论(0) 推荐(0) 编辑

2021年11月29日

kafka_2.12-1.0.0安装部署

发表于 2021-11-29 16:48阅读：53评论：0推荐：0

摘要： kafka安装部署安装安装版本 kafka_2.12-1.0.0.tgz 解压 cd /opt/software/ tar -xvf kafka_2.12-1.0.0.tgz -C ../app/ 映射，方便后续升级,后面分发后，每台都需要配置 ln -s kafka_2.12-1.0.0 ka 阅读全文 »

posted @ 2021-11-29 16:48 王双颖阅读(53) 评论(0) 推荐(0) 编辑

2021年11月25日

【Logstash】Elastic Stack

发表于 2021-11-25 15:29阅读：163评论：0推荐：0

摘要：一、Logstash 入门及运行机制 1-1 入门及架构简介架构简介主要分为三个阶段 Input【数据采集】-> Filter【数据解析/转换】-> Output【数据输出】 Pipeline input-filter-output 的三阶段处理流程队列管理插件生命周期管理 Logstash 阅读全文 »

posted @ 2021-11-25 15:29 王双颖阅读(163) 评论(0) 推荐(0) 编辑

2021年11月23日

【Elasticsearch】Elastic Stack

发表于 2021-11-23 16:03阅读：85评论：0推荐：0

摘要：一、Elasticsearch 入门 1-1 术语介绍 Elasticsearch——Mysql结构对照表：文档 Document 用户存储在ES中的数据文档个人理解：相当于数据库中的一行数据，有不同的字段。索引 Index 具有相同字段的文档列表组成个人理解：由相同字段的文档组成类型 T 阅读全文 »

posted @ 2021-11-23 16:03 王双颖阅读(85) 评论(0) 推荐(0) 编辑

2021年11月19日

初识Ruby

发表于 2021-11-19 15:42阅读：184评论：0推荐：0

摘要：初识Ruby Ruby:主要是喜欢让人快乐第一章、Ruby起步 1、Ruby简介 ruby优点 1.Ruby是脚本语言，不需要编译。 2.代码少，效率高 3.不关心变量的类型，非常省心 4.Ruby生产效率极高学习Ruby的知识点 1.安装、调试、查看api 2.熟悉基本语法 3.熟悉常见的bl 阅读全文 »

posted @ 2021-11-19 15:42 王双颖阅读(184) 评论(0) 推荐(0) 编辑

2021年11月11日

冒泡排序算法

发表于 2021-11-11 17:00阅读：43评论：0推荐：0

摘要：冒泡排序 1、比较数组中，两个相邻的元素，如果第一个比第二个数大，我们就交换它们的位置 2、每一次比较都会产生出一个最大或者最小的数字 3、依次循环，直到结束！ public static int[] sort(int[] array) { //临时变量 int temp = 0; //外层循环，判阅读全文 »

posted @ 2021-11-11 17:00 王双颖阅读(43) 评论(0) 推荐(0) 编辑

统计程序或方法的运行时间

发表于 2021-11-11 16:54阅读：46评论：0推荐：0

摘要：生产中比较简单且常用的方法 long startTime = System.currentTimeMillis(); //中间程序或者方法 long endTime = System.currentTimeMillis(); long handleTime = endTime -startTime; 阅读全文 »

posted @ 2021-11-11 16:54 王双颖阅读(46) 评论(0) 推荐(0) 编辑