摘要：
决定在博客园上记录自己的课程学习笔记、论文阅读总结、以及个人生活所见所感。 机器学习： 1. 李宏毅老师：http://speech.ee.ntu.edu.tw/~tlkagk/courses.html 诙谐幽默、深入浅出 2. 徐亦达老师：https://github.com/roboticcam 阅读全文
摘要：
hdfs文件读写报错： AccessControlException: Permission denied: user=root, access=WRITE, inode="/user/chaojunwang":chaojunwang:supergroup:drwxr-xr-x 【解决方法】 1. 阅读全文
摘要：
【教程1】https://blog.csdn.net/shiyutianming/article/details/99946797 + 【教程2】http://dblab.xmu.edu.cn/blog/1689-2/ 两个对照着理解一下就行了，apache-spark可以不用homebrew安装， 阅读全文
摘要：
RDD提供了一个抽象的数据架构，我们不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换处理，不同RDD之间的转换操作形成依赖关系，可以实现管道化，从而避免了中间结果的存储，大大降低了数据复制、磁盘IO和序列化开销。 一个RDD就是一个分布式对象集合，本质上是一个只读的分区记录集合，每 阅读全文
摘要：
Spark运行架构包括： （1）集群资源管理器（Cluster Manager） （2）运行作业任务的工作节点（Worker Node） （3）每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。 其中，集群资源管理器可以是Spark自带的资源管理器，也 阅读全文
摘要：
#函数 /* 存储过程：可以有0个或多个返回，适合批量插入、批量更新 函数：有且仅有一个返回，适合处理数据后返回一个结果 */ #一、创建语法 /* create function 函数名(参数列表) returns 返回类型 begin 函数体 end 参数列表： 参数名 参数类型 */ use 阅读全文
摘要：
#存储过程 /* 一组预先编译好的sql语句集合，理解成批处理语句 好处： 1、提高代码重用性 2、简化操作 3、减少了编译次数并减少了和数据库服务器的连接次数，提高了效率 */ #一、创建 /* create procedure 存储过程名(参数列表) begin 一组合法的sql语句 end 注 阅读全文
摘要：
#变量 /* 系统变量： 全局变量 会话变量 自定义变量： 用户变量 局部变量 */ # 一、系统变量 #由系统提供，属于服务器层面 #1、查看所有的系统变量 show global variables; #会话变量 show session variables; #2、查看满足条件的部分系统变量名 阅读全文
摘要：
#视图 /* 含义：虚拟表，和普通表一样使用。通过表动态生成的数据 只保存了sql逻辑，不保存查询结果 应用场景： 1、多个地方用到同样的查询结果 2、该查询结果使用的sql语句较为复杂 */ USE students; show tables; #案例：查询姓张的学生名和专业名 select st 阅读全文
摘要：
#TCL /* 事务控制语言 事务：一个或一组sql语句组成一个执行单元，每条sql语句相互依赖 这个执行单元要么全部执行、要么全部失败后回滚 案例：转账 事务的acid属性 1.原子性：事务时一个不可分割的工作单位 2.一致性：事务必须使数据库从一个一致性状态转换为另一个一致性状态 3.隔离性：一 阅读全文
摘要：
# 标识列 /* 自增长列 可以不用手动的插入值，系统提供默认的序列值 1、标识列必须和 key 搭配使用，比如主键、唯一键、外键 2、一个表至多一个标识列 3、标识列的类型只能是数值型 4、标识列可以设置步长 */ USE books; #一、创建表时设置标识列 CREATE TABLE IF N 阅读全文