摘要：
Spark性能优化指南——高级篇 [TOC] 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种... 阅读全文
摘要：
Ceph 测试环境部署 本文档内容概要 测试环境ceph集群部署规划 测试环境ceph集群部署过程及块设备使用流程 mon节点扩容及osd节点扩容方法 常见问题及解决方法 由于暂时没有用到对象存储，所以暂时没有配对象存储的网关。 ==回答：为什么docker里用到ceph？== 环境里面每台机器挂载 阅读全文
摘要：
作者按：前几天一个同学过来玩，拿起来桌上放着的《你只是看起来很努力》，我才想起来这本书还没有看。这本书是我女朋友去年就推荐我看的，期间，自己也是各种不上心，今天就拿过来看看。 我是华丽丽的分割线 《你只是看起来很努力》 你只是看起来很努力 学习要走心。 你以为你在合群，你在浪费声明 寝室，是堕落的开 阅读全文
摘要：
作者按：折腾了几天，期间也请教了几次博客大牛，终于把博客园配置成自己喜欢的样子了。记录一下过程。 1. 博客页面功能添加 1.1 博客园标题底纹功能 博客园默认写博客的时候，没有类似于下图的标题底纹，需要自己设置 设置的地方在设置→页面定制CSS代码里，贴入如下代码即可： 1 #cnblogs_post_body 2 { 3 color: black; 4 fon... 阅读全文
摘要：
一、试验环境： CentOS6.6 最小化安装；主机名spark-test，IP：10.10.10.26 OpenStack虚拟云主机。 注：安装流程：进入linux->安装JDK->安装scala->安装spark。 二、安装JDK 下载JDK： 版本jdk-6u45-linux-x64.bin，下载见Oracle官网 建立data文件夹，用来存... 阅读全文