摘要: 1. 简单介绍一下Flink Flink是一个面向流处理和批处理的分布式数据计算引擎,能够基于同一个Flink 运行,可以提供流处理和批处理两种类型的功能。 在 Flink 的世界观中,一切都是由流组成的,离线数据是有界的流;实时数据是一个没有界限的流:这就是所谓的有界流和无界流。 2. Flink 阅读全文
posted @ 2024-12-19 09:56 业余砖家 阅读(43) 评论(0) 推荐(0) 编辑
摘要: Python 作为一种功能强大的编程语言,拥有丰富的第三方库,这些库为开发者提供了极大的便利。以下是一些广泛使用的 Python 库,涵盖了从数据科学、机器学习到网络爬虫等多个领域: 1.数值计算与科学计算 NumPy:用于科学计算的基础包,提供了高性能的多维数组对象和用于数组操作的工具。 SciP 阅读全文
posted @ 2024-12-18 10:11 业余砖家 阅读(21) 评论(0) 推荐(0) 编辑
摘要: vmware中的完整克隆是基于指定的虚拟机克隆出相同的一份出来,不必再安装。 但是我们要保证几个地方不能一样,一个是主机名称(hostname),一个是虚拟网卡设备mac地址,还有就是是IP地址和UUID。所以我们在克隆后要对这四个地方进行修改。 这里以centos为例 1.首先进行“完全克隆”,注 阅读全文
posted @ 2024-12-17 17:29 业余砖家 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 如何清除电脑(主文件夹)中 “最近使用的文件”(痕迹)? (1)按Ctrl + E 键,即可打开 “主文件夹” 的文件夹,这里可以看到 “最近使用的文件” 。 (2)在任务栏这里点击 “三个点” 的图表,然后选择 “选项”。 (3)点击 “隐私” 选项卡下的“清除”按钮,然后点击 “确定”。 然后点 阅读全文
posted @ 2024-12-17 14:58 业余砖家 阅读(106) 评论(0) 推荐(0) 编辑
摘要: 问题: VMware Workstation 整理磁盘碎片报错: 整理磁盘碎片失败: 指定的虚拟磁盘需要进行修复。 解决办法: (1)找到vmware的安装目录 (可以直接用everything搜索vmware-vdiskmanager查看目录),在目录框下执行cmd命令(C:\Windows\Sy 阅读全文
posted @ 2024-12-16 14:56 业余砖家 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 优化查询最重要的就是,尽量使语句符合查询优化器的规则避免全表扫描而使用索引查询。 具体要注意的: 1.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描。 如: select id from t where num is null 可以在num上设 阅读全文
posted @ 2024-12-14 19:10 业余砖家 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个regio 阅读全文
posted @ 2024-12-14 18:17 业余砖家 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 1. 数据库优化目的 1.1. 避免出现页面访问错误 1). 由于数据库连接timeout产生页面5xx错误; 2). 由于慢查询造成页面无法加载; 3). 由于阻塞造成数据无法提交; 1.2. 增加数据库的稳定性 1). 很多数据库的问题都是由于低效的查询引起的; 1.3. 优化用户体验 1). 阅读全文
posted @ 2024-12-13 16:38 业余砖家 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 1、分析查询语句 ‌MySQL的EXPLAIN命令主要用于分析SQL查询的执行计划,帮助理解MySQL如何处理SQL语句,并优化查询性能。‌ (1)EXPLAIN的作用 1)、‌表的读取顺序‌:显示MySQL如何读取表和执行JOIN操作。 2)、‌数据读取操作的操作类型‌:如全表扫描、索引扫描等。 阅读全文
posted @ 2024-12-13 15:20 业余砖家 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 第一章 Trino简介 1. Trino概述 Trino是一个分布式SQL查询引擎,旨在查询分布在一个或多个异构数据源上的大型数据集。如果使用的是数TB或数PB的数据,那么很可能使用的是与Hadoop和HDFS交互的工具。Trino被设计为使用MapReduce作业管道(如Hive或Pig)查询HD 阅读全文
posted @ 2024-12-10 16:22 业余砖家 阅读(92) 评论(0) 推荐(0) 编辑