JavaEdge

摘要： 0 Shark Spark 的一个组件，用于大规模数据分析的 SQL 查询引擎。Shark 提供了一种基于 SQL 的交互式查询方式，可以让用户轻松地对大规模数据集进行查询和分析。Shark 基于 Hive 项目，使用 Hive 的元数据存储和查询语法，并基于Hive进行了性能优化和扩展。 0.1 阅读全文

摘要： 1 Spark 的 local 模式 Spark 运行模式之一，用于在本地机器上单机模拟分布式计算的环境。在 local 模式下，Spark 会使用单个 JVM 进程来模拟分布式集群行为，所有 Spark 组件（如 SparkContext、Executor 等）都运行在同一个 JVM 进程中，不涉 阅读全文

摘要： ClickHouse是用于分析的OLAP数据库，因此典型的使用场景是处理相对较少的请求 — 从每小时几个到每秒几十甚至几百个不等 — 但会影响到大量数据（几GB/数百万行）。 但是在其他情况下，它的表现如何？让我们尝试用大量小请求来测试ClickHouse如何处理。这将帮助我们更好地了解可能的使用场 阅读全文

摘要： 为了方便报表应用使用数据，需将ADS各项指标统计结果导出到MySQL，方便熟悉 SQL 人员使用。 1 MySQL建库建表 1.1 创建数据库 创建car_data_report数据库： CREATE DATABASE IF NOT EXISTS car_data_report # 字符集 DEFA 阅读全文

摘要： 优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。 1 设计要点 （1）ODS层的表结构设计依托于从业务系统同步过来的数据结构 （2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比较高的，此处选择gzip （3）ODS层 阅读全文

摘要： 2024年3月4日，官方宣布推出 Claude 3 模型系列，它在广泛的认知任务中树立了新的行业基准。该系列包括三个按能力递增排序的最先进模型：Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。每个后续模型都提供越来越强大的性能，允许用户为其特定应用选择智 阅读全文

摘要： 是的，\t 是指制表符（tab），它通常用作字段分隔符在 TSV（Tab-Separated Values）格式的文件中。TSV是一种简单的文本格式，它使用制表符来分隔每一列中的值，而每一行则代表一个数据记录。 TSV文件例： ID\tName\tAge\tCity 1\tJohn Doe\t28\ 阅读全文

摘要： 两种用于优化查询性能的数据组织策略，数仓设计的关键概念，可提升Hive在读取大量数据时的性能。 1 分区（Partitioning） 根据表的某列的值来组织数据。每个分区对应一个特定值，并映射到HDFS的不同目录。 常用于经常查询的列，如日期、区域等。这样可以在查询时仅扫描相关的分区，而不是整个数据 阅读全文

摘要： 1 LucidChart 一个基于HTML5的在线流程图绘制和协作应用平台，用户可以通过它方便快速的实现流程图表的绘制，同时还可以实现与他人进行实时的流程图绘制和修改功能，对需要群组协作功能的团队来说，这点非常方便。 由于LucidChart是基于HTML5开发，因此用户不需要下载本地应用程序，通过 阅读全文

摘要： 关注我，紧跟本系列专栏文章，咱们下篇再续！ 作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。 负责： 中央/分销预订系统性能优化 活动&优惠券等营销中台建设 交易平台及数据中台等架构和开发设计 目前主攻降低软件复 阅读全文