2018年10月12日
spark job分析
摘要： spark job spark job提交 三级调度框架, DagSch,计算stage，提交阶段，将stage映射成taskset，提交taskset给tasksch。 TaskSch BackendSch setMaster("local[n]") n表示使用n个线程模拟的spark集群下的wo 阅读全文
posted @ 2018-10-12 20:41 wqbin 阅读(351) 评论(0) 推荐(0) 编辑
Spark1
摘要： Spark集群 0.0体验安装Spark在集群单节点 1.tar tar xzvf xxx.tgz C /soft/ ln s /soft/spark 2.1.0 bin hadoop2.7 /soft/spark 2.配置环境变量 SPARK_HOME=/soft/spark PATH=$SPAR 阅读全文
posted @ 2018-10-12 19:53 wqbin 阅读(229) 评论(0) 推荐(0) 编辑
SQL三大范式
摘要： 第一范式(1NF) (必须有主键，列不可分) 数据库表中的任何字段都是单一属性的，不可再分 create table aa(id int,NameAge varchar(100)) insert aa values(1,''无限 女 '') 没有达到第一范式 create table aa(id i 阅读全文
posted @ 2018-10-12 12:56 wqbin 阅读(567) 评论(0) 推荐(0) 编辑