随笔分类 -  大数据

摘要:Kubeadm方式搭建K8S集群 一、搭建k8s集群(kubeadm方式) kubeadm部署方式介绍 kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具,这个工具能通过两条指令完成一个kubernetes集群的部署: 第一,创建一个master几点 kubeadm ini 阅读全文
posted @ 2023-09-22 17:34 Teddy_boy 阅读(499) 评论(0) 推荐(1) 编辑
摘要:# Hadoop - WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 配置完hadoop启动的时候出现如下警告信息: ```shell WARN util.NativeCode 阅读全文
posted @ 2023-08-15 00:28 Teddy_boy 阅读(32) 评论(0) 推荐(0) 编辑
摘要:spark 1. 名词介绍 RDD(Resilient Distributed Dataset弹性分布式数据集):这是spark的主要数据概念。有多种来源,容错机制,并且能缓存、并行计算。RDD在整个计算流程中会经过不同方式的变换,这种变换关系就是一个有向无环图。 需要注意的是,所有的方法在定义执行 阅读全文
posted @ 2021-01-14 16:43 Teddy_boy 阅读(93) 评论(0) 推荐(0) 编辑
摘要:python源码包 https://www.python.org/ftp/python/ spark源码包 https://archive.apache.org/dist/spark/ 清华大学开源软件镜像站 https://mirrors.tuna.tsinghua.edu.cn/ 阅读全文
posted @ 2020-11-12 09:07 Teddy_boy 阅读(95) 评论(0) 推荐(0) 编辑
摘要:spark修改控制台输出日志级别 修改conf/log4j.properties cd $SPARK_HOME/conf cp log4j.properties.template ./log4j.properties vi log4j.properties log4j.rootCategory=IN 阅读全文
posted @ 2020-10-29 12:04 Teddy_boy 阅读(224) 评论(0) 推荐(0) 编辑
摘要:# Hadoop集群搭建 ### 1.创建三台虚拟机,本次使用的是centos7,关闭所有机器的防火墙。 1. 关闭防火墙: ```powershell [hadoop@localhost ~]$ systemctl stop firewalld.service ``` 2. 修改主机名,方便对虚拟 阅读全文
posted @ 2020-10-21 15:31 Teddy_boy 阅读(189) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示