摘要： 阅读框架源码可以从官方代码的例子入手，对于Mapreduce我们可以从官方WordCount为例。源码目录结构如下： 进入WordCount代码： `/** Licensed to the Apache Software Foundation (ASF) under one or more cont 阅读全文

摘要： 在运行Spark sql作业时，我们经常会看到一个参数就是spark.sql.shuffle.partitions，而且默认值是200.这个参数到底影响了什么呢？今天咱们就梳理一下。 1、Spark Sql中的Shuffle partitions 在Spark中的Shuffle partitions 阅读全文

摘要： 转载：https://www.cnblogs.com/ssshhh/p/12105466.html 阅读全文

摘要： 1、Automic与volatile的区别 2、sleep与wait的区别，notify与notifyall的区别 sleep是Thread的静态方法，wait是Object的方法，任何对象实例都能调用。 sleep不会释放锁，它也不需要占用锁。wait会释放锁，但调用它的前提是当前线程占有锁(即代 阅读全文

摘要： 转载：https://blog.csdn.net/breakout_alex/article/details/107499035?utm_medium=distribute.pc_relevant.none-task-blog-baidulandingword-1&spm=1001.2101.300 阅读全文

摘要： 在卸载Impala的时候发现始终无法卸载impala的安装包，之前安装是使用yum方式。 之前经常使用方式：rpm -e --nodeps rpm -e --nodeps impala-server-2.5.0+cdh5.7.6+0-1.cdh5.7.6.p0.7.el7.x86_64 --nosc 阅读全文

摘要： MapReduce 的数据压缩 hive 的数据压缩 hive 支持的文件格式 hive日志分析,各种压缩的对比 一： mapreduce 的压缩 mapreduce 压缩 主要是在shuffle阶段的优化。 shuffle 端的 partition （分区） sort （排序） combine ( 阅读全文

摘要： windows安装nc命令 1.下载netcat。下载地址： https://eternallybored.org/misc/netcat/ 2、解压 3、将nc.exe 复制到C:\Windows\System32的文件夹下 4、打开cmd。输入nc 命令OK~ 发送消息：nc l p port 阅读全文

摘要： 本文不介绍如何安装，我是通过Anaconda安装的python3.7,安装后并指定了默认的python环境为python3,但是系统有很多都是依赖python2,建议不要修改： 如果只能修改，影响最大的就是yum命令需要使用python2.需要修改python配置文件： vi /usr/bin/yu 阅读全文

摘要： linux安装mysql 5.6.33 1:下载安装包 wget http://dev.mysql.com/get/Downloads/MySQL 5.6/mysql 5.6.33 linux glibc2.5 x86_64.tar.gz 2:解压 解压 tar zxvf mysql 5.6.33 阅读全文