随笔分类 - 大数据
摘要:Kubeadm方式搭建K8S集群 一、搭建k8s集群(kubeadm方式) kubeadm部署方式介绍 kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具,这个工具能通过两条指令完成一个kubernetes集群的部署: 第一,创建一个master几点 kubeadm ini
阅读全文
摘要:# Hadoop - WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 配置完hadoop启动的时候出现如下警告信息: ```shell WARN util.NativeCode
阅读全文
摘要:spark 1. 名词介绍 RDD(Resilient Distributed Dataset弹性分布式数据集):这是spark的主要数据概念。有多种来源,容错机制,并且能缓存、并行计算。RDD在整个计算流程中会经过不同方式的变换,这种变换关系就是一个有向无环图。 需要注意的是,所有的方法在定义执行
阅读全文
摘要:python源码包 https://www.python.org/ftp/python/ spark源码包 https://archive.apache.org/dist/spark/ 清华大学开源软件镜像站 https://mirrors.tuna.tsinghua.edu.cn/
阅读全文
摘要:spark修改控制台输出日志级别 修改conf/log4j.properties cd $SPARK_HOME/conf cp log4j.properties.template ./log4j.properties vi log4j.properties log4j.rootCategory=IN
阅读全文
摘要:# Hadoop集群搭建 ### 1.创建三台虚拟机,本次使用的是centos7,关闭所有机器的防火墙。 1. 关闭防火墙: ```powershell [hadoop@localhost ~]$ systemctl stop firewalld.service ``` 2. 修改主机名,方便对虚拟
阅读全文