01 2018 档案
摘要：一、mapTask并行度的决定机制 1.概述 一个job的map阶段并行度由客户端在提交job时决定 而客户端对map阶段并行度的规划的基本逻辑为： 将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split，然后每一个split分配一个mapTask并行实例处理 这
阅读全文
摘要：一、概述 1.map-reduce是什么 Hadoop MapReduce is a software framework for easily writing applications which process vast amounts of data (multi-terabyte data-
阅读全文
摘要：本文转载自xingoo： https://www.cnblogs.com/xing901022/p/5978989.html 一、常用静态变量 二、常用方法 copy 这个方法可以拷贝流，算是这个工具类中使用最多的方法了。支持多种数据间的拷贝: copy内部使用的其实还是copyLarge方法。因为
阅读全文
摘要：一、概述 1.HDFS中的角色 Block数据： HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，之前的版本中是64M 基本存储单位，一般大小为64M（配置大的块主要是因为：1）减少搜寻时
阅读全文
摘要：一、Hadoop Shell命令 既然有官方文档，那当然先找到官方文档的参考：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html 对于3种命令的区别： 以下内容参考自
阅读全文
摘要：一、概述 根据之前的凡技术必登其官网的原则，我们当然先得找到它的官网：http://hadoop.apache.org/ 1.什么是hadoop 先看官网介绍： The Apache™ Hadoop® project develops open-source software for reliabl
阅读全文
摘要：一、准备 1.安装git 点击下载：链接：https://pan.baidu.com/s/1eToStns 密码：r93r 安装参考之前随笔：http://www.cnblogs.com/jiangbei/p/7704971.html 2.安装node.js 点击下载：https://nodejs.
阅读全文
摘要：一、概述 1、掌握RPC原理 2、掌握nio操作 3、掌握netty简单的api 4、掌握自定义RPC框架 1.RPC是什么 RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存
阅读全文
摘要：一、多线程基础回顾 先导知识在基础随笔篇：http://www.cnblogs.com/jiangbei/p/6664555.html 以下此部分以补充为主 1.概念 进程：进行中的程序，内存中有独立的内存空间 线程：进程中的多个顺序控制流 2.Java中实现线程的两种方式 参考上文（继承threa
阅读全文
摘要：一、集群自启动脚本 1.关闭zk //kill或者stop都是可以的 2.远程执行命令 出现以上中文的地方只需要修改一下zoo.cfg，把多余的配置注释即可！ 当然，这样还是无法启动！因为ssh过去是以一个bash的方式过去的（不会执行/etc/profile，而正常登录是会执行的，也可以打开相应的
阅读全文
摘要：一、安装 PD下载：http://rj.baidu.com/soft/detail/16619.html?ald 补丁下载：http://pan.baidu.com/s/1hqEDUCG 图文安装教程：http://blog.csdn.net/yang5726685/article/details/
阅读全文
摘要：一、概述 1.是什么？ 根据凡技术必登其官网的原则，我们先去官网瞅一瞅：http://zookeeper.apache.org/ Apache ZooKeeper is an effort to develop and maintain an open-source server which ena
阅读全文
摘要：一、Linux环境安装 1.VM的安装 参考Linux环境搭建随笔：http://www.cnblogs.com/jiangbei/p/7248054.html 2.CentOS的安装 同参考上述随笔，此处不再赘述 3.网络基础配置 相关的IP基础知识参考之前随笔：http://www.cnblog
阅读全文
摘要：主要包括以下几大块： 大数据基础课程 离线数据分析 离线数据分析hbase 实时数据分析 Scala函数式编程 Spark内存计算 机器学习增强 前五天的课程都是基础课，主要包含Linux基础，shell编程基础以及Java中的多线程、JVM等基础知识，如果你没有相关的基础知识，请自己提前学习。 离
阅读全文
摘要：1.概念模型 在了解了用户的需求，用户的业务领域工作情况以后，经过分析和总结，提炼出来的用以描述用户业务需求的一些概念的东西。 如销售业务中的“客户”和“定单”，还有就是“商品”，“业务员”。主要是抽取出系统中有哪些概念（此时可以不包含属性，只有实体集，联系集的分析结构） 表示概念模型最常用的是"实
阅读全文
摘要：概述 ORACLE 提供可以把 PL/SQL 程序存储在数据库中，并可以在任何地方来运行它。这样就叫存储过程或函数。过程和函数统称为 PL/SQL 子程序，他们是被命名的 PL/SQL 块，均存储在数据库中，并通过输入、输出参数或输入/输出参数与其调用者交换信息。 过程和函数的唯一区别是函数总向调用
阅读全文
摘要：一、游标 1.概念 游标是一个 指向上下文的句柄( handle) 或指针。通过游标，PL/SQL 可以控制上下文区和处理语句时上下文区会发生些什么事情。 2.游标处理 处理显式游标 主要包含以下四个步骤： 1.定义游标 2.打开游标 3.提取游标数据（放入变量或记录类型） 4.关闭游标 游标相关属
阅读全文
摘要：一、流程控制 1.条件判断 语法： // 请注意ELSIF而不是ELSEIF！ 示例： CASE表达式： 2.循环 基本循环 也可以使用EXIT WHEN进行退出： 示例： WHILE循环 示例： FOR循环 示例： 3.GOTO 4.空处理NULL
阅读全文
摘要：一、概述 1.概念对比： SQL:结构化查询语言(Structured Query Language)简称SQL(发音：/ˈes kjuː ˈel/ "S-Q-L")，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统;差异原因:各种不同的数据库
阅读全文
摘要：一、概述 主要内容： 二、子查询介绍 1.简单子查询（WHERE子查询） 2.多列子查询 成对比较： 不成对比较： 3.在FROM子句中使用子查询 4.单列子查询 在CASE中使用单列子查询 5.相关子查询 相关子查询就是每一次子查询都与外层主查询相关， 而非相关子查询就是每次都返回一致的结果，与主
阅读全文
摘要：一、概述 1.SET运算符是什么 将多个查询用 SET 操作符连接组成一个新的查询 UNION/UNION ALL——并集 INTERSECT——交集 MINUS——差集（A\B=A中去掉B中也有的元素） 关于MySQL的交、并、差集，参考：http://blog.csdn.net/goodleiw
阅读全文
摘要：一、概述 权限的分类： 系统权限: 对于数据库的权限 对象权限: 操作数据库对象的权限 基本上，权限的控制和之前介绍的管理控制台是相通的，所以基本可以大概将此节看作图形化操作的SQL语句操作版本 二、用户管理 1.创建用户 DBA使用以下语法创建： // 普通用户可以使用ALTER USER进行自己
阅读全文
摘要：一、概述 1.什么是范式 设计关系数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余越小。 以上来自百度百科；所以，简单来说，范式就是规范要求 2.范式的要求 目前关系数据库有六种范式：第一范式（1NF）、第二范式（2
阅读全文
摘要：一、概述 其他数据库对象 主要掌握的为序列 二、序列 1.什么是序列 序列: 可供多个用户用来产生唯一数值的数据库对象 自动提供唯一的数值 共享对象 主要用于提供主键值 将序列值装入内存可以提高访问效率 2.创建序列 序列主要有以下两个使用方式： NEXTVAL 返回序列中下一个有效的值，任何用户都
阅读全文
摘要：一、概述 1.什么是视图（VIEW） 视图 从表中抽出的逻辑上相关的数据集合（是一张虚表）。 2.为什么使用视图 1.控制访问 2.简化查询 3.视图的分类 二、视图管理 1.创建视图 示例： 这里出现个小插曲，我们根据之前的管理控制台的学习，给当前用户SCOTT添加创建VIEW的权限！ 以DBA的
阅读全文
摘要：一、概述 1.分类 表级约束主要分为以下几种： NOT NULL UNIQUE PRIMARY KEY FOREIGN KEY CHECK 2.注意事项 如果不指定约束名 ，Oracle server 自动按照 SYS_Cn 的格式指定约束名 创建和修改约束: 建表的同时 建表之后 可以在表级或列级
阅读全文
摘要：一、常见数据库对象 1.基本对象 对应的对象英文名参考：https://docs.oracle.com/cd/B19306_01/server.102/b14220/intro.htm#sthref69 2.表操作简介 其他对象将会在后续章节介绍 用户创建的表：包含用户创建和维护的表， 查看创建的表
阅读全文
摘要：一、子查询 1.子查询语法 示例： 2.子查询示例 使用组函数：查询最低工资的员工信息 使用HAVING： 多行子查询：IN,ANY,ALL // 提示，使用不等于建议采用通用的 <>符号
阅读全文
摘要：一、多表查询 所有的连接分析，参考之前随笔：http://www.cnblogs.com/jiangbei/p/7420136.html 1.笛卡尔积 产生无效的笛卡尔积可以通过where进行过滤 连接查询： 2.等值连接 3.外连接 SQL99的连接语法如下： ，这里介绍Oracle的左外连接写法
阅读全文
摘要：一、概述 以下内容完整参阅，参考官方文档函数手册部分：https://docs.oracle.com/cd/E11882_01/nav/portal_5.htm 离线chm手册英文版：链接：https://pan.baidu.com/s/1o85jQ9G 密码：ssyj——（若无法显示正文，在文件上
阅读全文
摘要：一、SQL概述 起源于标准不再赘述，主要分为DDL，DML，DCL ORACLE的数据类型： 数据类型 描述 VARCHAR2(size) 可变长字符数据。VARCHAR2(n)数据类型用于定义可变长度的字符串，其中，n用于指定字符串的最大长度，n的值必须是正整数且不超过32767。 CHAR(si
阅读全文
摘要：一、SQL Developer的使用 常用设置，参考：https://www.cnblogs.com/biGpython/archive/2012/03/30/2424739.html https://www.cnblogs.com/linjiqin/archive/2013/06/24/31525
阅读全文
摘要：一、Oracle介绍 Oracle 公司是全球最大的信息管理软件及服务供应商，成立于1977年 Oracle 公司因其复杂的关系数据库产品而闻名。Oracle的关系数据库是世界第一个支持SQL语言的数据库 oracle有OCA OCP OCM的等级考试！ 数据库与实例的概念： Oracle 数据库管
阅读全文
