hdc520

摘要： （1）大CPU大内存，网卡超烂，如何优化？ 强制本地化，选高压缩的序列化格式，核心就是尽量减少网络IO。 计算机中内存、cache和寄存器之间的关系及区别： （１）寄存器是CPU内部的元件，寄存器拥有非常高的读写速度，所以在寄存器之间的数据传送非常快，可用来暂存指令、数据和位址。 （２）内存包含的范 阅读全文

摘要： 排序法 平均时间 最差情形 稳定度 额外空间 备注 冒泡 O(n2) O(n2) 稳定 O(1) n小时较好 选择 O(n2) O(n2) 不稳定 O(1) n小时较好 插入 O(n2) O(n2) 稳定 O(1) 大部分已排序时较好 基数 O(logRB) O(logRB) 稳定 O(n) B是真 阅读全文

摘要： 1、Mysql的超键，候选键，主键，外键： （１）超键：在关系中能唯一标识元组的属性集称为超键，可以区分表中每一行记录的属性集（单个属性，多个属性组成也行） 1）例子：在一个学生的表中，假设有“学号”、“姓名”、“相关信息”、“生日”等字段， 其中学号是唯一的，那么（学号）是一个超键，同时（学号，姓 阅读全文

摘要： Scala面试题： https://www.cnblogs.com/Gxiaobai/p/10460336.html spark-Streaming面试题： http://app.myzaker.com/news/article.php?pk=59a6517b1bc8e03276000029 spa 阅读全文

摘要： 1. Mapreduce和Spark的相同和区别 两者都是用mr模型来进行并行计算 hadoop的一个作业：job job分为map task和reduce task，每个task都是在自己的进程中运行的 当task结束时，进程也会结束 spark用户提交的任务：application 一个appl 阅读全文

摘要： 1．创建一张表，记录文件数据，使用换行符作为分隔符 create table file_data(content string) row format delimited fields terminated by '/n' 2．将准备的数据（/home/hadoop/wordcount.tx）添加到 阅读全文

摘要： count(*)和count(1)无任何差别，永远优于count其他字段只要存在普通索引，count就会使用普通索引，只存在主键时，count(*)和或count(1)会使用主键索引 count(a) (1).当a=null时，count(null) (2).a=*或者1时，count(*)为表的行 阅读全文

摘要： 1、驱动程序通过一个SparkContext对象来访问Spark，此对象代表对计算集群的一个连接。shell已经自动创建了一个SparkContext对象。利用SparkContext对象来创建一个RDD 2、spark和mapreduce区别 mapreduce分为两个阶段map和reduce，两 阅读全文

摘要： IDEA 创建scala spark的Mvn项目：https://blog.csdn.net/u014646662/article/details/84618032 Spark详解03Job 物理执行图：https://www.jianshu.com/p/c1ee13c50b7a Spark Sta 阅读全文

摘要： 1、Hadoop的hdfs https://www.cnblogs.com/jstarseven/p/7682293.html 2、Hadoop的yarn https://segmentfault.com/a/1190000018775822?utm_source=tag-newest 3、Hado 阅读全文