摘要: Flink 基础 实时计算与离线计算的区别 1、根据处理时间 实时计算数据实时处理,结果实时存储 离线计算数据延迟处理,N+1 2.根据处理方式 实时计算流式处理:一次处理一条或少量,状态小 离线计算批量处理:处理大量数据,处理完返回结果 实时计算是一种持续、低时延、事件触发的计算任务 离线计算是一 阅读全文
posted @ 2024-08-02 21:47 易政 阅读(15) 评论(0) 推荐(0) 编辑
摘要: Spark core spark作业执行的特点 * spark作业执行的特点: * 1、只有遇到行动算子的时候,整个spark作业才会被触发执行 * 2、遇到几次,执行几次 算子 RDD RDD: 弹性分布式数据集 * 弹性:数据量可大可小 * RDD类似于容器,但是本身存储的不是数据,是计算逻辑 阅读全文
posted @ 2024-08-02 21:47 易政 阅读(29) 评论(0) 推荐(0) 编辑
摘要: Scala 基础 数据类型 scala中的数据类型和java的数据类型对应关系: * java: scala: * byte Byte * short Short * int Int * long Long * float Float * double Double * boolean Boolea 阅读全文
posted @ 2024-08-02 21:46 易政 阅读(60) 评论(0) 推荐(0) 编辑
摘要: HA步骤 配置之前先拍摄快照(重要) 快照名称设置为 Zookeeper 配置免密登录 # 在node1节点执行 ssh-keygen -t rsa # 三次回车之后 ssh-copy-id node1 ssh-copy-id node2 ssh-copy-id master 关闭所有Hadoop 阅读全文
posted @ 2024-08-02 21:45 易政 阅读(3) 评论(0) 推荐(0) 编辑
摘要: Redis高级 事务 什么是事务 Redis事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。 Redis事务的主要作用就是串联多个命令防止别的命令插队。 Multi 、 Exec 、 discard 从输入Multi命令 阅读全文
posted @ 2024-08-02 21:44 易政 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 1. redis服务启动的时候,如果单纯的就是redis-server命令启动,默认启动后会占用6379的端口号 2. 一个redis服务相当于一个新的redis数据库 3.修改端口号 一台机器上可以同时启动多个redis服务,只要每个redis服务所占用的端口号不同即可,要想启动多个redis服务 阅读全文
posted @ 2024-08-02 21:44 易政 阅读(7) 评论(0) 推荐(0) 编辑
摘要: Redis 技术发展 Web1.0时代 Web1.0的时代,数据访问量很有限,用一夫当关的高性能的单点服务器可以解决大部分问题。 Web2.0时代 随着Web2.0的时代的到来,用户访问量大幅度提升,同时产生了大量的用户数据。加上后来的智能移动设备的普及,所有的互联网平台都面临了巨大的性能挑战。 解 阅读全文
posted @ 2024-08-02 21:43 易政 阅读(8) 评论(0) 推荐(0) 编辑
摘要: Hbase之过滤器 HBase 的基本 API,包括增、删、改、查等。 增、删都是相对简单的操作,与传统的 RDBMS 相比,这里的查询操作略显苍白,只能根据特性的行键进行查询(Get)或者根据行键的范围来查询(Scan)。 HBase 不仅提供了这些简单的查询,而且提供了更加高级的过滤器(Filt 阅读全文
posted @ 2024-06-19 14:58 易政 阅读(11) 评论(0) 推荐(0) 编辑
摘要: HBase进阶与Phenix 一、HBase的读写流程 画出架构 1.1 HBase读流程 Hbase读取数据的流程: 1)是由客户端发起读取数据的请求,首先会与zookeeper建立连接 2)从zookeeper中获取一个hbase:meta表位置信息,被哪一个regionserver所管理着 h 阅读全文
posted @ 2024-06-19 14:57 易政 阅读(28) 评论(0) 推荐(0) 编辑
摘要: HBase进阶与API 一、Hbase shell 1、Region信息观察 创建表指定命名空间 在创建表的时候可以选择创建到bigdata17这个namespace中,如何实现呢? 使用这种格式即可:‘命名空间名称:表名’ 针对default这个命名空间,在使用的时候可以省略不写 create ' 阅读全文
posted @ 2024-06-19 14:57 易政 阅读(6) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示