摘要： ScalaBase Scala是将函数式编程思想和面向对象的编程思想结合的一种编程语言 编写scala注意事项： 1、java中的一些写法，scala中同样适用 2、scala中一行代码就是一个语句，分号可加可不加 3、若想运行一个scala代码，需满足： ​ 要有main方法 ​ 将class改为 阅读全文

摘要： 大数据组件测试题（节选） 单多选 1、Hive中外部表（EXTERNAL TABLE）的特性是？ B A. 删除表时会同时删除数据 B. 删除表时仅删除元数据 C. 必须与HBase表关联 D. 不支持分区 外部表数据存储在hdfs上某一目录中，删除表仅会删除元数据，而不会删除目录中的数据。 2、H 阅读全文

摘要： 数仓缓慢渐变维(SCD) 缓慢渐变维（Slowly Changing Dimension SCD）是数据仓库中用于处理高纬度属性随时间缓慢变化的技术。其核心挑战在于平衡实时数据与历史记录的维护需求，以确保分析的准确性。以下是常见的SCD处理方式及特点： SCD Type1（覆盖型） 处理方式：直接覆 阅读全文

摘要： Hive的内外部表和分区分桶 Hive的内外部表 内部表 当创建好表的时候，HDFS会在当前表所属的库中创建一个文件夹 当设置表路径的时候，如果直接指向一个已有的路径,可以直接去使用文件夹中的数据 当load数据的时候，就会将数据文件存放到表对应的文件夹中 而且数据一旦被load，就不能被修改 我们 阅读全文

摘要： Hbase过滤器 Hbase中有很多过滤器和比较器： HBase 的基本 API，包括增、删、改、查等。 增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。 HBase 不仅提供了这些简单的查询，而 阅读全文

摘要： HadoopMapreduce 我们假设有一个1T的文本数据，对其中的"出场"二字进行统计。 《斗罗大陆》的艺术成就主要是在人物形象塑造方面的体现，较为突出人物个性。与传统文学相比，《斗罗大陆》有着自己的特点，具体表现为： 对人物的刻画倾向于突出个性，忽略人物外貌的特点。没有硬性规范人物的形象，对于 阅读全文

摘要： Hadoop读写流程* 写数据流程 一、启动Hadoop NameNode其本身会存储数据的原信息，如文件路径、大小、权限、时间等。 启动过程中NameNode会和DataNode保持心跳机制，且DN会向NN发送当前自己block块的信息，构建映射关系 当用户开始行动，客户端会调用Distribut 阅读全文

摘要： RedisDay1 什么是Redis Redis（Remote Dictionary Server）是一个开源的高性能键值存储系统，支持多种数据结构，如字符串、哈希、列表、集合等。它以内存存储为主，提供极快的读写速度，常用于缓存、消息队列和实时数据处理。Redis支持持久化，确保数据安全，并具备主从 阅读全文

摘要： JavaDay7 网络编程 网络通信三要素为：ip地址 ​ 端口号 ​ 协议 而网络编程主要应用为TCP协议编程和UDP协议编程 无论是TCP或是UDP，每个端都要创建对应的socket对象 UDP协议 发送端 /* 1:建立udp的socket服务 UDP协议发送端的Socket类叫做：Datag 阅读全文

摘要： JavaDay6 多线程 单线程：一个程序能够使用一条执行路径，从开始到结束。 而多线程则为——一个进程有多条执行路径 多线程的创建 1、自己造一个类，继承Thread类，重写run()方法，创建该线程类的对象【线程对象】，启动start() /* 1、自己造一个类，继承Thread类，重写run方 阅读全文