摘要：
【博学谷IT技术支持】 # 一、介绍 Django是python语言写的开源web开发框架，遵循MVC设计。Django的主要目的是简便、快捷的开发数据库驱动的网站。但是Django有一个专有名词：MVT - M:Model,负责数据处理，内嵌了ORM框架 - V:View,接收HttpReques 阅读全文
摘要：
【博学谷IT技术支持】 # 一、介绍 [yagmail](https://yagmail.readthedocs.io/en/latest/)是一个 GMAIL/SMTP 客户端，旨在使发送电子邮件尽可能简单。在项目中或多或少都需要使用的它，比如监控，比如用户提示等。 # 二、项目使用 ## 使用流 阅读全文
摘要：
【博学谷IT技术支持】 # 一、shell简介 - `shell` 是一种编写脚本程序的语言，常用于`linux`， - `shell`是解释型语言，相对于其他的语言更加好学，它的语法和结构也比较简单 - 通过编写脚本，能显著的提高开发的效率 # 二、shell的基础知识 每个`sh`文件都有这个开 阅读全文
摘要：
【博学谷IT技术支持】 # 一、Zookeeper 基础知识 Zookeeper地址：https://zookeeper.apache.org/ ## 介绍 Zookeeper是一个开源的分布式协调服务，用来给分布式应用提供一致性服务。Zookeeper本质是一个分布式的小文件存储系统。是Chubb 阅读全文
摘要：
【博学谷IT技术支持】 # 一、介绍 ## 概念 [Apache™ Hadoop®](https://hadoop.apache.org/) 项目为可靠、可扩展的分布式计算开发开源软件。允许简单的编程模型在大量计算机集群上对大型数据集群进行分布式处理。 项目包含以下模块： - `Common`: 支 阅读全文
摘要：
【博学谷IT技术支持】 # HDFS HDFS又称分布式系统，采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数 阅读全文
摘要：
【博学谷IT技术支持】 # HDFS写流程  上图是HDFS的写流程图 主要步骤如下 - client向服务器发起上传请求（RPC） - NameN 阅读全文
摘要：
【博学谷IT技术支持】 # 一、linux命令 linux命令是对liunx系统进行管理的命令。通过命令使linux系统能正常运行。liunx命令在系统中有两种类型：内置shell命令和linux命令。 # 二、赋值和读取相关命令 **cp 赋值文件命令** - cp -a a4 a5: 该命令会赋 阅读全文
摘要：
【博学谷IT技术支持】 # 一、介绍 MapReduce是一种编程模型，用于大规模数据集的并行运算。是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(规约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。 ## 特点与局限性 mapReduce特点： 阅读全文
摘要：
【博学谷IT技术支持】 # 一、介绍 `hive`是基于`hadoop`的数据仓库工具，用来进行数据的提取、转化、加载，是一种可以存储、查询和分析存储在`hadoop`中的大规模数据机制。`hive`将结构化的数据文件映射为一张数据库表，并提供`SQL`查询功能，将SQL语句变成`MapReduce 阅读全文