摘要：
spark-shell使用 运行spark-shell --master local[N] 读取本地文件 选项说明： local 表示程序在本地进行计算，跟spark集群目前没有任何关系 N 它是一个正整数，表示使用N个线程参与任务计算 local[N] 表示本地采用N个线程计算任务 spark-s 阅读全文
摘要：
初识spark程序 普通模式提交 (指定活着的master地址) 指定的必须是alive状态的Master地址，否则会执行失败。 cd /kkb/install/spark bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ 阅读全文
摘要：
spark集群安装部署 搭建spark集群要事先搭建好zookeeper集群，spark会依赖zookeeper集群来实现Master的高可用。 第一步：下载安装包 下载安装包：spark-2.3.3-bin-hadoop2.7.tgz 下载地址： https://archive.apache.or 阅读全文
摘要：
spark是什么 "Apache Spark" is a unified analytics engine for large-scale data processing. spark是针对于大规模数据处理的统一分析引擎 spark是在Hadoop基础上的改进，是UC Berkeley AMP la 阅读全文
摘要：
hive的综合案例实战 案例需求 统计youtube影音视频网站的常规指标，各种TopN指标： --统计视频观看数Top10 --统计视频类别热度Top10 --统计视频观看数Top20所属类别 --统计视频观看数Top50所关联视频的所属类别Rank --统计每个类别中的视频热度Top10 --统 阅读全文
摘要：
hive的企业级调优 1、Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。 例如：select * from score; 在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台 在hive-defaul 阅读全文
摘要：
Hive表的数据压缩 数据的压缩说明 可使用以下三种标准对压缩方式进行评价 1、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好 2、压缩时间：越快越好 3、已经压缩的格式文件是否可以再分割：可以分割的格式允许单一文件由多个Mapper程序处理，可以更好的并行化。比如说，一个300M的压缩文件 阅读全文
摘要：
hive自定义函数 1、自定义函数的基本介绍 Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function） 根据用户自 阅读全文
摘要：
Hive的常用函数 系统内置函数 #1．查看系统自带的函数 show functions; #2．显示自带的函数的用法 desc function upper; #3．详细显示自带的函数的用法 desc function extended upper; 取整函数 四舍五入round函数 语法: ro 阅读全文
摘要：
Hive的参数传递 查看hive的命令的参数 [hadoop@node03 ~]$ hive -help usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B o 阅读全文