摘要： 转载：https://www.cnblogs.com/mr-bigdata/p/12260893.html 每一种数据存储系统，对应有一种存储模型，或者叫存储引擎。我们今天要介绍的是三种比较流行的存储模型，分别是： Hash存储模型 B-Tree存储模型 LSM存储模型 不同存储模型的应用情况 1、 阅读全文

摘要： 转载：https://blog.lishunyang.com/2021/09/where-is-token.html 最近正好在梳理系统里的登录逻辑，有关登录的话题，那真的是三天三夜也讲不完，今天仅仅挑其中的一个小细节聊聊。 # 从用户的视角看 假设我们使用最基本的用户名密码登录。登录过程是什么样的 阅读全文

摘要： 转载：https://blog.csdn.net/u011630575/article/details/61194094 ㈠ 概念 ① 物理CPU 实际Server中插槽上的CPU个数 物理cpu数量，可以数不重复的 physical id 有几个 ② 逻辑CPU Linux用户对 /proc/cp 阅读全文

摘要： 转载：https://blog.csdn.net/u012052268/article/details/89554523 1. linux关于bashrc与profile的区别bashrc与profile都用于保存用户的环境信息，bashrc用于交互式non-loginshell，而profile用 阅读全文

摘要： 原文链接：https://blog.csdn.net/Trigl/article/details/72732241 在使用spark-submit提交Spark任务一般有以下参数： ./bin/spark-submit \ --class <main-class> \ --master <maste 阅读全文

摘要： 写在前面ps:干货很多…我们都知道，Hive基本上就是内部表和外部表两种类型，在面试的时候，常会问到这种题目：1.hive内部表和外部表的区别2.什么时候使用内部表,什么时候使用外部表 来自官网的定义： Managed tablesA managed table is stored under th 阅读全文

摘要： 1、安装pyspark 2、下载想要的hadoop版本，解决 missing WINUTILS.EXE 的问题 下载地址：https://github.com/steveloughran/winutils 比如，我保存的本地地址在这 3、pyspark程序中指定系统变量 from pyspark i 阅读全文

摘要： 转载：https://www.cnblogs.com/pejsidney/p/8945198.html Sqoop安装配置及hive导入Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Post 阅读全文

摘要： 转载 https://blog.csdn.net/lzhcoder/article/details/107902791 Sqoop主要特点1、可以将关系型数据库中的数据导入hdfs、hive或者hbase等hadoop组件中，也可将hadoop组件中的数据导入到关系型数据库中； 2、sqoop在导入 阅读全文

摘要： 转载 https://juejin.cn/post/6844904078749728782 问题场景 问题出现的场景： 在消息队列处理消息时，同一事务内先后对同一条数据进行了插入和更新操作; 多台服务器操作同一数据库； 瞬时出现高并发现象； 导致数据更新或新增后数据经常自动回滚；表操作总报 Lock 阅读全文