11 2020 档案

使用IDEA配置spark的运行环境
摘要：刚开始配置时因为各种依赖jar包问题导致环境老是有问题，花费了两三天，特此记录下，方便后来学习使用。 本文使用Idea2020开发工具开发第一个spark程序。使用的编程语言是scala。注意： * JDK版本要和hadoop集群里的一样* scala版本要和spark里指定的一致* hadoop版 阅读全文
posted @ 2020-11-30 21:33 wanpi 阅读(1318) 评论(0) 推荐(0) 编辑
搭建集群hadoop
摘要：在Ubuntu系统下安装Hadoop集群（阿里云） 修改主机名字 hostnamectl set-hostname master #master为想要更改的主机名 reboot #重启 root@master:/$ sudo vim /etc/hostname slave1,slave2同样的操作， 阅读全文
posted @ 2020-11-22 11:04 wanpi 阅读(131) 评论(0) 推荐(0) 编辑
搭建单节点hadoop
摘要：感谢这篇文章，讲的非常好 原文链接：How to install hadoop 2.7.3 single node cluster on ubuntu 16.04 « Parth Goel (wordpress.com) 需要修改的一处：（使用这个下载链接，会快点儿） $ wget https:// 阅读全文
posted @ 2020-11-22 08:35 wanpi 阅读(94) 评论(0) 推荐(0) 编辑
搭建hadoop遇到的Q&A
摘要：运行jps命令没有namenode节点？ 先停掉hadoop,删除tmp,重新建立tmp,赋予权限，再重新启动，就可以了 $sudo mkdir -p /app/hadoop/tmp $sudo chown hduser:hadoop /app/hadoop/tmp 打开secondarynamen 阅读全文
posted @ 2020-11-17 14:15 wanpi 阅读(142) 评论(0) 推荐(0) 编辑
Q&A（Constantly Updating）
摘要：linux、Centos和Ubuntu有什么关系? Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用62616964757a686964616fe4b893e5b19e31333366306532户、多任务、支持多线程和多CPU的操作系统。 而严格来讲，L 阅读全文
posted @ 2020-11-17 13:06 wanpi 阅读(259) 评论(0) 推荐(0) 编辑
基于Spark的SVM模型手写数字识别
摘要：数据集简介 MNIST手写数字数据集官网：THE MNIST DATABASE of handwritten digits 或者数据集下载网址：http://yann.lecun.com/exdb/mnist/ 共有4个数据集，下载之后是4个gz压缩包，把它们保存在磁盘中： train-images 阅读全文
posted @ 2020-11-16 19:48 wanpi 阅读(446) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示