08 2024 档案
摘要：Flink 基础 实时计算与离线计算的区别 1、根据处理时间 实时计算数据实时处理，结果实时存储 离线计算数据延迟处理，N+1 2.根据处理方式 实时计算流式处理：一次处理一条或少量，状态小 离线计算批量处理：处理大量数据，处理完返回结果 实时计算是一种持续、低时延、事件触发的计算任务 离线计算是一
阅读全文
摘要：Spark core spark作业执行的特点 * spark作业执行的特点： * 1、只有遇到行动算子的时候，整个spark作业才会被触发执行 * 2、遇到几次，执行几次 算子 RDD RDD: 弹性分布式数据集 * 弹性：数据量可大可小 * RDD类似于容器，但是本身存储的不是数据，是计算逻辑
阅读全文
摘要：Scala 基础 数据类型 scala中的数据类型和java的数据类型对应关系： * java: scala: * byte Byte * short Short * int Int * long Long * float Float * double Double * boolean Boolea
阅读全文
摘要：HA步骤 配置之前先拍摄快照（重要） 快照名称设置为 Zookeeper 配置免密登录 # 在node1节点执行 ssh-keygen -t rsa # 三次回车之后 ssh-copy-id node1 ssh-copy-id node2 ssh-copy-id master 关闭所有Hadoop
阅读全文
摘要：Redis高级 事务 什么是事务 Redis事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。 Redis事务的主要作用就是串联多个命令防止别的命令插队。 Multi 、 Exec 、 discard 从输入Multi命令
阅读全文
摘要：1. redis服务启动的时候，如果单纯的就是redis-server命令启动，默认启动后会占用6379的端口号 2. 一个redis服务相当于一个新的redis数据库 3.修改端口号 一台机器上可以同时启动多个redis服务，只要每个redis服务所占用的端口号不同即可，要想启动多个redis服务
阅读全文
摘要：Redis 技术发展 Web1.0时代 Web1.0的时代，数据访问量很有限，用一夫当关的高性能的单点服务器可以解决大部分问题。 Web2.0时代 随着Web2.0的时代的到来，用户访问量大幅度提升，同时产生了大量的用户数据。加上后来的智能移动设备的普及，所有的互联网平台都面临了巨大的性能挑战。 解
阅读全文
