摘要：
1.背景介绍：平台使用的华为FI C203的版本，通过SparkStreaming消费kafka数据后，进行算法处理入库。其中在算法部分耗时为4秒，每个批的数据量在30MB左右。执行算法部分的算子分区数据从50调大至150，发现算法部分时间开销仍然在4秒左右，并未提高。 2.调优手段： spark. 阅读全文
摘要：
以下是Dockerfile文件 FROM centos:7ENV LANG=zh_CN.UTF-8 \ LANGUAGE=zh_CN:zh \ LC_ALL=zh_CN.UTF-8 RUN yum update -y && \ yum reinstall -y glibc-common && \ y 阅读全文
摘要：
别人写的帖子感觉很好，记录一下： https://blog.csdn.net/u013411339/article/details/90657429 阅读全文
摘要：
说起spring，我们知道其最核心的两个功能就是AOP（面向切面）和IOC（控制反转），这边文章来总结一下SpringBoot如何整合使用AOP。 一、示例应用场景：对所有的web请求做切面来记录日志。 1、pom中引入SpringBoot的web模块和使用AOP相关的依赖： 其中： cglib包是 阅读全文
摘要：
Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置 环境变量：可以通过每个节点的 conf/spark-env.sh脚本设置。例如IP地址、端口等信息 日志配置：可以通过log4j.properties配置 Spark 阅读全文
摘要：
1.前言 垃圾收集器是前一章垃圾收集算法理论知识的具体实现了，不同虚拟机所提供的垃圾收集器可能会有很大差别，另外我们必须提前说明一个道理：没有最好的垃圾收集器，更加没有万能的收集器，只能选择对具体应用最合适的收集器。这也是HotSpot为什么要实现这么多收集器的原因，下面我们以HotSpot为例讲解 阅读全文
摘要：
一、安装Hadoop Hive运行在Hadoop环境之上，因此需要hadoop环境，本次在安装在hadoop完全分布式模式的namennode节点上 请参考：hadoop搭建 二、安装Hive 下载 [hadoop@hadoop01 /home/hadoop]$cd /app/ [hadoop@ha 阅读全文
摘要：
一、前言。 学习大数据组件，最好的方式是直接参照官网。不过官网的教程也让我吃了一坑，在此记录一下。因在个人笔记本资源有限，在此安装为单机版安装 官网参考地址：https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/install 阅读全文