09 2020 档案

摘要:Ctrl+Shift + Enter,语句完成“!”,否定完成,输入表达式时按 “!”键Ctrl+E,最近的文件Ctrl+Shift+E,最近更改的文件Shift+Click,可以关闭文件Ctrl+[ OR ],可以跑到大括号的开头与结尾Ctrl+F12,可以显示当前文件的结构Ctrl+F7,可以查 阅读全文
posted @ 2020-09-30 14:31 十一vs十一 阅读(148) 评论(0) 推荐(0) 编辑
摘要:1.2HDFS(☆☆☆) 1.2.1 HDFS 中的 block 默认保存几份?(A) A.3 份 B.2 份 C.1 份 D.不确定 1.2.2HDFS 默认 BlockSize 是(C) A.32MB B.64MB(2.7.2版本,本地模式) C.128MB(2.7.2版本,分布式模式) 1.2 阅读全文
posted @ 2020-09-28 23:00 十一vs十一 阅读(778) 评论(0) 推荐(0) 编辑
摘要:mapreduce工作流程:1、client提交数据到DFS,然后被分为多个split,然后通过inputformatter以key-value传给jobTraker。jobTraker分配工作给多个map(taskTraker)。project师重写map,在各个taskTraker上分别运行代码 阅读全文
posted @ 2020-09-28 22:58 十一vs十一 阅读(1585) 评论(0) 推荐(0) 编辑
摘要:HDFS:Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐 阅读全文
posted @ 2020-09-28 22:57 十一vs十一 阅读(262) 评论(0) 推荐(0) 编辑
摘要:1.什么是hadoop 答:是google的核心算法MapReduce的一个开源实现。 用于海量数据的并行处理。 hadoop的核心主要包括:HDFS和MapReduce HDFS是分布式文件系统。用于分式存储海量数据。 MapReduce是分布式数据处理模型,本质是并行处理。 2.用hadoop来 阅读全文
posted @ 2020-09-28 22:56 十一vs十一 阅读(199) 评论(0) 推荐(0) 编辑
摘要:1.列出安装hadoop流程步骤 a) 创建hadoop账号 b) 更改ip c) 安装java 更改/etc/profile 配置环境变量 d) 修改host文件域名 e) 安装ssh 配置无密码登录 f) 解压hadoop g) 配置hadoop conf下面的配置文件 h) Hadoop na 阅读全文
posted @ 2020-09-28 22:55 十一vs十一 阅读(161) 评论(0) 推荐(0) 编辑
摘要:1、hadoop与云计算之间的关系? 解析:云计算由位于网络上的一组服务器把其计算、存储、数据等资源以服务的形式提供给请求者以完成信息处理任务的方法和过程。针对海量文本数据处 理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储 阅读全文
posted @ 2020-09-28 22:53 十一vs十一 阅读(179) 评论(0) 推荐(0) 编辑
摘要:1.0 简要描述如何安装配置apache的一个开源hadoop,只描述即可,无需列出具体步骤,列出具体步骤更好。 答:第一题:1使用root账户登录 2 修改IP 3 修改host主机名 4 配置SSH免密码登录 5 关闭防火墙 6 安装JDK 6 解压hadoop安装包 7 配置hadoop的核心 阅读全文
posted @ 2020-09-28 22:51 十一vs十一 阅读(894) 评论(0) 推荐(0) 编辑
摘要:1、简要描述如何安装配置一个apache开源版hadoop,描述即可,列出步骤更好 --解压hadoop包,到指定安装文件夹 --配置linux基本网络环境、jdk环境、防火墙环境 --修改主机名,方便后面UI的访问 --修改hadoop/etc/hadoop/conf下的配置文件,根据部署的模式和 阅读全文
posted @ 2020-09-28 22:48 十一vs十一 阅读(284) 评论(0) 推荐(0) 编辑
摘要:1.Hadoop集群可以运行的3个模式? 单机(本地)模式 伪分布式模式全分布式模式2. 单机(本地)模式中的注意点? 在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序,这 阅读全文
posted @ 2020-09-28 22:47 十一vs十一 阅读(342) 评论(0) 推荐(0) 编辑
摘要:1、简单描述如何安装配置一个apache开源版hadoop,只描述即可,无需列出完整步骤,能列出步骤更好。 安装JDK并配置环境变量(/etc/profile) 关闭防火墙 配置hosts文件,方便hadoop通过主机名访问(/etc/hosts) 设置ssh免密码登录 解压缩hadoop安装包,并 阅读全文
posted @ 2020-09-28 22:44 十一vs十一 阅读(413) 评论(0) 推荐(0) 编辑
摘要:SQL**查询高级练习** 1. 目标 熟悉常用的DQL语言 熟练常用的多表查询 熟练多表聚合查询 2. 创建数据表 -- 1.学生表 -- sid 学生编号,sname 学生姓名,sage 出生年月,ssex 学生性别 create table if not exists student ( si 阅读全文
posted @ 2020-09-25 00:34 十一vs十一 阅读(636) 评论(0) 推荐(0) 编辑
摘要:1.ROW_NUMBER() 定义:ROW_NUMBER()函数作用就是将select查询到的数据进行排序,每一条数据加一个序号,他不能用做于学生成绩的排名(因为学生成绩有相同排名 他只是按顺序排号 没用相同),一般多用于分页查询, 比如查询前10个 查询10-100个学生。 实例: 1.1对学生成 阅读全文
posted @ 2020-09-23 23:04 十一vs十一 阅读(1573) 评论(0) 推荐(0) 编辑
摘要:一.WITH AS的含义 WITH AS短语,也叫做子查询部分(subquery factoring),可以定义一个SQL片断,该SQL片断会被整个SQL语句用到。可以使SQL语句的可读性更高,也可以在UNION ALL的不同部分,作为提供数据的部分。 对于UNION ALL,使用WITH AS定义 阅读全文
posted @ 2020-09-23 22:42 十一vs十一 阅读(275) 评论(0) 推荐(0) 编辑
摘要:第三章 可视化ETL平台——Kettle课程目标 能够理解Kettle的主要用途 能够搭建Kettle开发环境 能够掌握Kettle输入组件的使用 能够掌握Kettle输出组件的使用 能够掌握Kettle转换组件的使用1. Kettle介绍1.1 数据仓库数据仓库是一个很大的数据存储集合, 阅读全文
posted @ 2020-09-23 19:11 十一vs十一 阅读(2552) 评论(0) 推荐(0) 编辑
摘要:day05_mysql 1. 今日目标 多表查询【重要】 mysql 索引 【理解】 mysql8.0 开窗函数【理解】 mysql 常用函数【了解】 mysql with...as 【了解】 2. 多表查询 2.1. 数据的准备 CREATE TABLE category ( cid VARCHA 阅读全文
posted @ 2020-09-22 12:01 十一vs十一 阅读(102) 评论(0) 推荐(0) 编辑
摘要:1.Hadoop中有哪些组件? Hadoop=HDFS+Yarn+MapReduce+Hive+Hbase+... 1).HDFS:分布式文件存储系统 主:namenode,secondarynamenode 从:datanode 2).Yarn:分布式资源管理系统,用于同一管理集群中的资源(内存等 阅读全文
posted @ 2020-09-21 21:05 十一vs十一 阅读(305) 评论(0) 推荐(0) 编辑
摘要:4.LVS和HAProxy相比,它的缺点是什么? 之前,的确是用LVS进行过MySQL集群的负载均衡,对HAProxy也有过了解,但是将这两者放在眼前进行比较,还真没试着了解过。面试中出现了这么一题,面试官给予的答案是LVS的配置相当繁琐,后来查找了相关资料,对这两种负载均衡方案有了更进一步的了解。 阅读全文
posted @ 2020-09-21 21:01 十一vs十一 阅读(326) 评论(0) 推荐(0) 编辑
摘要:hadoop相关试题MapTask并行机度是由什么决定的? 由切片数量决定的。MR是干什么的? MR将用户编写的业务逻辑代码和自带的默认组件结合起来组成一个完整的分布式应用程序放到hadoop集群上运行。MR的实例进程: driver(mr的job提交客户端) MRAppMaster MapTask 阅读全文
posted @ 2020-09-21 20:57 十一vs十一 阅读(350) 评论(0) 推荐(0) 编辑
摘要:第1部分 选择题 1.1 Hadoop选择题 1.1.1 Hdfs 1. 下面哪个程序负责 HDFS 数据存储? a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份? 阅读全文
posted @ 2020-09-21 20:55 十一vs十一 阅读(764) 评论(0) 推荐(0) 编辑
摘要:一、.hdfs写文件的步骤 答案: (1)client向NameNode申请上传…/xxx.txt文件 (2)NN向client响应可以上传文件 (3)Client向NameNode申请DataNode (4)NN向Client返回DN1,DN2,DN3 (5)Client向DN1,DN2,DN3申 阅读全文
posted @ 2020-09-21 20:44 十一vs十一 阅读(244) 评论(0) 推荐(0) 编辑
摘要:kafka的message包括哪些信息 一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候,会在magic和crc32之间多 阅读全文
posted @ 2020-09-21 20:42 十一vs十一 阅读(141) 评论(0) 推荐(0) 编辑
摘要:day04_mysql 今日目标 排序查询 聚合查询 分组、分页查询 克隆表与数据 多表操作 DQL 查询语句 排序查询 # 语法格式SELECT * FROM 表名 ORDER BY 排序字段 ASC 或 DESC; ASC 升序 (默认) DESC 降序#根据价格降序排列select * fro 阅读全文
posted @ 2020-09-21 17:16 十一vs十一 阅读(137) 评论(0) 推荐(0) 编辑
摘要:1.1. 排序查询 通过order by语句,可以将查询出的结果进行排序。暂时放置在select语句的最后。 格式: SELECT * FROM 表名 ORDER BY 排序字段 ASC|DESC; ASC 升序 (默认) DESC 降序#1.使用价格排序(降序)SELECT * FROM prod 阅读全文
posted @ 2020-09-21 00:46 十一vs十一 阅读(477) 评论(0) 推荐(0) 编辑
摘要:使用数据库可以高效的有条理的储存数据: 1、可以结构化存储大量的数据, 2、可以有效的保持数据的一致性、完整性。 l SQL分类: n 数据定义语言:简称DDL(Data Definition Language),用来定义数据库对象:数据库,表,列等。关键字:create,alter,drop等 n 阅读全文
posted @ 2020-09-20 22:34 十一vs十一 阅读(195) 评论(0) 推荐(0) 编辑
摘要:SQL**查询基础练习** 1. 目标 熟悉常用的DQL语言 熟练常用的多表查询 熟练多表聚合 2. 创建数据表 3. DQL**数据查询** CREATE TABLE employee ( id INT, NAME VARCHAR(20), sex VARCHAR(10), salary FLOA 阅读全文
posted @ 2020-09-20 22:27 十一vs十一 阅读(526) 评论(0) 推荐(0) 编辑
摘要:目录 课程大纲(MAPREDUCE详解) 3 1. MAPREDUCE入门 4 1.1 为什么要MAPREDUCE 4 1.2 MAPREDUCE程序运行演示 4 1.3 MAPREDUCE 示例编写及编程规范 4 1.3.1 编程规范 4 1.3.2 wordcount示例编写 5 1.4 MAP 阅读全文
posted @ 2020-09-20 08:58 十一vs十一 阅读(175) 评论(0) 推荐(0) 编辑
摘要:目录 课程大纲(HDFS详解) 2 1. HDFS前言 3 2. HDFS的概念和特性 3 3. HDFS的shell(命令行客户端)操作 4 3.1 HDFS命令行客户端使用 4 3.2命令行客户端支持的命令参数 4 3.2 常用命令参数介绍 5 4. hdfs的工作机制 8 4.1 概述: 8 阅读全文
posted @ 2020-09-20 08:56 十一vs十一 阅读(160) 评论(0) 推荐(0) 编辑
摘要:目录 课程大纲(HADOOP快速入门) 2 1. HADOOP 快速入门 3 什么是HADOOP 3 HADOOP产生背景 3 HADOOP在大数据、云计算中的位置和关系 3 国内外HADOOP应用案例介绍 4 国内HADOOP的就业情况分析 5 HADOOP生态圈以及各组成部分的简介 6 分布式系 阅读全文
posted @ 2020-09-19 23:00 十一vs十一 阅读(141) 评论(0) 推荐(0) 编辑
摘要:目录 课程大纲(HADOOP快速入门) 2 1. HADOOP 快速入门 3 什么是HADOOP 3 HADOOP产生背景 3 HADOOP在大数据、云计算中的位置和关系 3 国内外HADOOP应用案例介绍 4 国内HADOOP的就业情况分析 5 HADOOP生态圈以及各组成部分的简介 6 分布式系 阅读全文
posted @ 2020-09-19 21:54 十一vs十一 阅读(141) 评论(0) 推荐(0) 编辑
摘要:第4天 java高级特性增强 今天内容安排: 1、掌握多线程 2、掌握并发包下的队列 3、了解JMS 4、掌握JVM技术 5、掌握反射和动态代理 java多线程增强 .1. java多线程基本知识 .1.1. 进程介绍 不管是我们开发的应用程序,还是我们运行的其他的应用程序,都需要先把程序安装在本地 阅读全文
posted @ 2020-09-19 11:20 十一vs十一 阅读(133) 评论(0) 推荐(0) 编辑
摘要:第3天 高可用web框架 今天内容安排: 1、掌握nginx、keepalived、lvs的使用 1. nginx 1.1. nginx简介 Nginx是一个自由、开源、高性能及轻量级的HTTP服务器及反转代理服务器。Nginx以其高性能、稳定、功能丰富、配置简单及占用系统资源少而著称。 Nginx 阅读全文
posted @ 2020-09-19 11:19 十一vs十一 阅读(133) 评论(0) 推荐(0) 编辑
摘要:linux的命令操作 1、日常操作命令 **查看当前所在的工作目录pwd **查看当前系统的时间 date **查看有谁在线(哪些人登陆到了服务器)who 查看当前在线last 查看最近的登陆历史记录 2、文件系统操作**ls / 查看根目录下的子节点(文件夹和文件)信息ls -al -a是显示隐藏 阅读全文
posted @ 2020-09-18 21:45 十一vs十一 阅读(118) 评论(0) 推荐(0) 编辑
摘要:sortsort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出。如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序。 sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin]选项与参数 阅读全文
posted @ 2020-09-18 21:09 十一vs十一 阅读(141) 评论(0) 推荐(0) 编辑
摘要:day02_linux基础 目标 linux操作命令 vi / vim 编辑器 数据库介绍 mysql数据库安装和使用 datagrip安装和连接mysql linux 操作命令 查找文件或者文件夹的命令 # 查找某个文件或文件夹的命令 比如 张三 文件夹find / -name 'zhangsan 阅读全文
posted @ 2020-09-18 19:55 十一vs十一 阅读(136) 评论(0) 推荐(0) 编辑
摘要:1. Sed简介sed 是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用 阅读全文
posted @ 2020-09-18 08:54 十一vs十一 阅读(109) 评论(0) 推荐(0) 编辑
摘要:简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk, 阅读全文
posted @ 2020-09-17 22:16 十一vs十一 阅读(228) 评论(0) 推荐(0) 编辑
摘要:Nginx教程 1. 课程目标 1.1. 了解反向代理和负载均衡的概念 1.2. 掌握Nginx的安装和使用 1.3. 利用Nginx实现负载均衡 2. Nginx相关概念 2.1. 反向代理 反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转 阅读全文
posted @ 2020-09-17 22:05 十一vs十一 阅读(184) 评论(0) 推荐(0) 编辑
摘要:Redis3集群安装 1. 什么是Redis Redis是目前一个非常优秀的key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set有序集合)和hash(哈希类型)。 2.  阅读全文
posted @ 2020-09-17 20:55 十一vs十一 阅读(132) 评论(0) 推荐(0) 编辑
摘要:Iptables教程 1. iptables防火墙简介 Iptables也叫netfilter是Linux下自带的一款免费且优秀的基于包过滤的防火墙工具,它的功能十分强大,使用非常灵活,可以对流入、流出、流经服务器的数据包进行精细的控制。iptables是Linux2.4及2.6内核中集成的模块。 阅读全文
posted @ 2020-09-17 20:53 十一vs十一 阅读(142) 评论(0) 推荐(0) 编辑
摘要:第2天 轻量级RPC框架开发 今天内容安排: 1、掌握RPC原理 2、掌握nio操作 3、掌握netty简单的api 4、掌握自定义RPC框架 RPC原理学习 1.1. 什么是RPC RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计 阅读全文
posted @ 2020-09-17 20:45 十一vs十一 阅读(182) 评论(0) 推荐(0) 编辑
摘要:第一章 Linux操作系统 1. 计算机入门知识介绍 1.1. 计算机原理 现代计算机大部分都是基于冯.诺依曼结构,该结构的核心思想是冯将程序和数据都存放在计算机中,按存储器的存储程序首地址执行程序的第一条指令,然后进行数据的处理计算。 计算机应包括运算器、储存器、控制器、输入和输出设备五大基本部件 阅读全文
posted @ 2020-09-17 10:07 十一vs十一 阅读(207) 评论(0) 推荐(0) 编辑
摘要:第1天 java高级特性增强 今天内容安排: 1、掌握多线程 2、掌握并发包下的队列 3、了解JMS 4、掌握JVM技术 5、掌握反射和动态代理 java多线程增强 .1. java多线程基本知识 .1.1. 进程介绍 不管是我们开发的应用程序,还是我们运行的其他的应用程序,都需要先把程序安装在本地 阅读全文
posted @ 2020-09-16 22:11 十一vs十一 阅读(176) 评论(0) 推荐(0) 编辑
摘要:批量自动删除rpm包:rpm -qa | grep mysql | while read c; do rpm -e $c --nodeps; done minimal最小化安装eth0默认没有自启用修改配置文件onboot=true 修改静态地址后发现无法ping外网需要设置网关route add 阅读全文
posted @ 2020-09-16 22:10 十一vs十一 阅读(92) 评论(0) 推荐(0) 编辑
摘要:VMware虚拟机三种联网方法及原理 一、Brigde——桥接:默认使用VMnet0 1、原理: Bridge 桥"就是一个主机,这个机器拥有两块网卡,分别处于两个局域网中,同时在"桥"上,运行着程序,让局域网A中的所有数据包原封不动的流入B,反之亦然。这样,局域网A和B就无缝的在链路层连接起来了, 阅读全文
posted @ 2020-09-16 21:51 十一vs十一 阅读(552) 评论(0) 推荐(0) 编辑
摘要:本地YUM源制作 1. YUM相关概念 1.1. 什么是YUM YUM(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性 阅读全文
posted @ 2020-09-16 21:34 十一vs十一 阅读(69) 评论(0) 推荐(0) 编辑
摘要:面试题总结: 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。 [优点] 支持超大文件 超大文件在这里指的是几百M,几百GB,甚至几TB大小的文件。 检 阅读全文
posted @ 2020-09-16 12:24 十一vs十一 阅读(251) 评论(0) 推荐(0) 编辑
摘要:1.kafka集群的规模,消费速度是多少。 答:一般中小型公司是10个节点,每秒20M左右。 2.hdfs上传文件的流程。 答:这里描述的 是一个256M的文件上传过程 ① 由客户端 向 NameNode节点节点 发出请求 ②NameNode 向Client返回可以可以存数据的 DataNode 这 阅读全文
posted @ 2020-09-16 09:48 十一vs十一 阅读(140) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示