摘要: Spark总结 Spark配置函数 建立连接 1>SparkConf().setAppName("xxx").setMaster("local") 设置配置文件 2> SparkContext.parallelize(Array(1,2,2,4),4)将数据进行4个分片,分别存在不同的集群中 3> 阅读全文
posted @ 2021-03-15 09:26 kobe96 阅读(138) 评论(0) 推荐(0) 编辑
摘要: redis 概念 redis以key-value形式进行存储的NoSql数据库, 使用c语言编写 Redis的数据存在内存中,作为缓存工具,读写性能好 存取数据 对key进行CRC16算法,得到结果后取16384,之后放入对应的槽中 通过Redis Sentinel(哨兵)提供高可用,通过Redis 阅读全文
posted @ 2021-03-15 09:20 kobe96 阅读(89) 评论(0) 推荐(0) 编辑
摘要: http connect 协议 谈起connect,这是http协议的8个之一,可以确定的是,connect协议是用来做与代理服务器建立连接的,也就是说,出现connect就是建立与代理服务器连接的行为。 由此,我们引出了一个代理服务器的概念,什么是代理服务器呢,我们先从用途上来说,代理服务器就是在 阅读全文
posted @ 2021-03-15 09:18 kobe96 阅读(664) 评论(0) 推荐(0) 编辑