摘要：
【博学谷IT技术支持】 # 一、介绍 Django是python语言写的开源web开发框架，遵循MVC设计。Django的主要目的是简便、快捷的开发数据库驱动的网站。但是Django有一个专有名词：MVT - M:Model,负责数据处理，内嵌了ORM框架 - V:View,接收HttpReques 阅读全文
摘要：
【博学谷IT技术支持】 # 一、介绍 [yagmail](https://yagmail.readthedocs.io/en/latest/)是一个 GMAIL/SMTP 客户端，旨在使发送电子邮件尽可能简单。在项目中或多或少都需要使用的它，比如监控，比如用户提示等。 # 二、项目使用 ## 使用流 阅读全文
摘要：
【博学谷IT技术支持】 # 一、shell简介 - `shell` 是一种编写脚本程序的语言，常用于`linux`， - `shell`是解释型语言，相对于其他的语言更加好学，它的语法和结构也比较简单 - 通过编写脚本，能显著的提高开发的效率 # 二、shell的基础知识 每个`sh`文件都有这个开 阅读全文
摘要：
【博学谷IT技术支持】 # 一、Zookeeper 基础知识 Zookeeper地址：https://zookeeper.apache.org/ ## 介绍 Zookeeper是一个开源的分布式协调服务，用来给分布式应用提供一致性服务。Zookeeper本质是一个分布式的小文件存储系统。是Chubb 阅读全文
摘要：
【博学谷IT技术支持】 # 一、介绍 ## 概念 [Apache™ Hadoop®](https://hadoop.apache.org/) 项目为可靠、可扩展的分布式计算开发开源软件。允许简单的编程模型在大量计算机集群上对大型数据集群进行分布式处理。 项目包含以下模块： - `Common`: 支 阅读全文
摘要：
【博学谷IT技术支持】 # HDFS HDFS又称分布式系统，采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数 阅读全文
摘要：
【博学谷IT技术支持】 # HDFS写流程  上图是HDFS的写流程图 主要步骤如下 - client向服务器发起上传请求（RPC） - NameN 阅读全文
摘要：
【博学谷IT技术支持】 # 一、linux命令 linux命令是对liunx系统进行管理的命令。通过命令使linux系统能正常运行。liunx命令在系统中有两种类型：内置shell命令和linux命令。 # 二、赋值和读取相关命令 **cp 赋值文件命令** - cp -a a4 a5: 该命令会赋 阅读全文
摘要：
【博学谷IT技术支持】 # 一、介绍 MapReduce是一种编程模型，用于大规模数据集的并行运算。是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(规约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。 ## 特点与局限性 mapReduce特点： 阅读全文
摘要：
【博学谷IT技术支持】 # 一、介绍 `hive`是基于`hadoop`的数据仓库工具，用来进行数据的提取、转化、加载，是一种可以存储、查询和分析存储在`hadoop`中的大规模数据机制。`hive`将结构化的数据文件映射为一张数据库表，并提供`SQL`查询功能，将SQL语句变成`MapReduce 阅读全文
摘要：
【博学谷IT技术支持】 ## 查询 ### 常用函数 - 常用函数 ``` 常用函数 -- 求总行数（count） select count(1) from score; -- 36 -- 求分数的最大值（max） select max(sscore) from score; 99 -- 求分数的最 阅读全文
摘要：
【博学谷IT技术支持】 # 操作 ## 内置函数 ### 数学函数 - 取整函数round ``` -- 取整函数 第一个为值，第二个为保留几位小数，取证规则四舍五入 select round(2.2222); -- 2 select round(2.5); 3 select round(2.555 阅读全文
摘要：
【博学谷IT技术支持】 # yarn的组成部分 hadoop是由Common、HDFS、YARN、MapReduce等核心模块组成，yarn负责解决资源调度问题，这里介绍下yarn的业务执行流程。 - yarn是Master/Slave结构，主要包含ResourceManage、NodeManage 阅读全文
摘要：
【博学谷IT技术支持】 公众号: 积雷山摩云洞，欢迎关注！！！ # 概念 - 分区表： 将数据分散到多个子目录中，在执行查询是，可以根据条件加快查询效率 - 分桶表：是相对分区更细的颗粒度划分，分桶表是将表查分到不同的文件中，根据数据表某列的hash值进行分区，对某列数据分区就是对该列属性值的has 阅读全文
摘要：
【博学谷IT技术支持】 公众号: 积雷山摩云洞，欢迎关注！！！ # 操作 ## 日期函数 - 获取当前时间 ``` -- 获取当前时间 -- 获取年月日 select `current_date`(); -- 2022-10-30 -- 获取年月日时分秒 select `current_timest 阅读全文
摘要：
【博学谷IT技术支持】 # 什么是数据倾斜？ 这个概念在百度百科中解释为在分布式缓存的集群中，不同节点负责处理一定范围的缓存数据。如果缓存数据分散度不够，导致大量的缓存数据集中到一台或者几台服务节点上，称为数据倾斜。一般来说数据倾斜是由于负载均衡实施的效果不好引起的。 简单的讲就是单个计算节点的计算 阅读全文
摘要：
【博学谷IT技术支持】 公众号: 积雷山摩云洞，欢迎关注！！！ # hadoop的构成 hadoop集群主要包含：HDFS集群、MapReduce、YARN集群。HDFS集群复制海量数据的存储，MapReduce负责海量计算，Yarn集群存在数据运算时的资源调度。 - hdfs集群主要包含了角色na 阅读全文
摘要：
【博学谷IT技术支持】 # 一、介绍 MapReduce是将一个大的计算任务拆分成一个个小任务，让小任务在不同的计算机中进行处理，最后将任务的结果进行汇总的过程。 MR的工作流程可以分为三个阶段，分别是map、shuffle、reduce # 二、编程 ## Mapper阶段 自定义一个类来集成Ma 阅读全文
摘要：
【博学谷IT技术支持】 # HBase的介绍 - HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式操作系统。 - 它是建立在HDFS之上的数据库系统，HBase是不支持SQL的，没有表关系，也无法join，不支持事务。 - HBase是基于google发布BigTable这篇论文而产生的， 阅读全文
摘要：
# jupyter 安装 文档地址https://jupyter.org/install ```js pip install notebook ``` 启动命令 ```js jupyter notebook ``` # jupyter-themes 修改主题 安装主题 https://github. 阅读全文