2018年5月16日

MySQL的基本操作

摘要： 修改一个数据库的字符集 alter database 数据库名 character set 字符集名; 修改一个数据库的校对规则 alter database 数据库名 collate 校对规则名; 删除一个数据库 drop database 数据库名; 练习: 1.将数据库mydb2的字符集改成utf8 2.将数据库mydb3的校对规则改成utf8_bin 3.删除my... 阅读全文

posted @ 2018-05-16 17:14 飞机耳朵 阅读(165) 评论(0) 推荐(0) 编辑

spark-yarn模式和shuffle原理

摘要： sparkjob的部署 ----------------- 1.client driver run on client 2.cluster driver on a worker 4.启动job时，指定资源使用。 $>spark-submit --driver-memory MEM //设置dri... 阅读全文

posted @ 2018-05-16 15:30 飞机耳朵 阅读(1251) 评论(0) 推荐(0) 编辑

spark-job提交原理和资源配置

摘要： spark术语 --------------- 1.RDD 弹性分布式数据集 , 轻量级数据集合。 内部含有5方面属性： a.分区列表 b.计算函数 c.依赖列表 e.分区类(KV) f.首选位置 创建RDD方式) a.text... 阅读全文

posted @ 2018-05-16 09:38 飞机耳朵 阅读(1633) 评论(0) 推荐(0) 编辑

导航