干了这瓶老干妈

2022年1月25日

摘要：示例一：统计所有单词出现的次数 1、在本地创建文件并上传到hdfs中 #vin data.txt //将文件上传到hadoop的根目录下 #hdfs dfs -put data.txt / 2、在spark中，创建一个RDD并读取文件 %spark var data = sc.textFile("/ 阅读全文

posted @ 2022-01-25 14:06 干了这瓶老干妈阅读(1320) 评论(0) 推荐(0) 编辑

Hadoop文件操作常用命令

摘要： 1、创建目录 #hdfs dfs -mkidr /test 2、查询目录结构 #hdfs dfs -ls / 子命令 -R递归查看//查看具体的某个目录：例如#hdfs dfs -ls /test 3、创建文件 #hdfs dfs -touchz /test/data.txt 4、查看文件内容 #h 阅读全文

posted @ 2022-01-25 13:46 干了这瓶老干妈阅读(2192) 评论(0) 推荐(0) 编辑

Spack 内置函数

摘要： 1、Map函数：通过函数传递源的每个元素，并形成新的分布式数据集。 %spark #并行化集合生成RDD var data = sc.parallelize(List(10,20,30)) %输出结果 data.collect%应用map函数并传递表达式var mapFunc = data.map( 阅读全文

posted @ 2022-01-25 10:23 干了这瓶老干妈阅读(113) 评论(0) 推荐(0) 编辑

2022年1月24日

Spark RDD学习

摘要： RDD(弹性分布式数据集)是Spark的核心抽象。它是一组元素，在集群的节点之间进行分区，以便我们可以对其执行各种并行操作。创建RDD的两种方式：并行化驱动程序中的现有数据；引用外部存储系统中的数据集。并行化集合要创建并行化集合，在驱动程序中现有的集合上调用SparkContext的par 阅读全文

posted @ 2022-01-24 17:23 干了这瓶老干妈阅读(54) 评论(0) 推荐(0) 编辑

了解Spark

摘要： Apache Spark是一个开源的集群计算框架，主要用来处理实时生成的数据。 Spark是建立在Hadoop的MapReduce顶部。它被优化到了内存中运行，而MapReduce等替代方法是将数据写入硬盘或从硬盘中写入数据，因此，Spark比其它替代方法运行速度更快。 Apache Spark的特阅读全文

posted @ 2022-01-24 14:40 干了这瓶老干妈阅读(510) 评论(0) 推荐(0) 编辑

2022年1月21日

Docker 中的问题：”invalid reference format: repository name must be lowercase”

摘要：在导入镜像的时候出现问题:invalid reference format: repository name must be lowercase 问题解决：镜像命名不能出现大写字母，将大写改为小写即可。阅读全文

posted @ 2022-01-21 09:29 干了这瓶老干妈阅读(2004) 评论(0) 推荐(0) 编辑

对已有的docker容器增加新的端口映射

摘要：一般在运行容器时，我们都会通过参数 -p（使用大写的-P参数则会随机选择宿主机的一个端口进行映射）来指定宿主机和容器端口的映射，例如 docker run -it -d --name [container-name] -p 8088:80 [image-name] 这里是将容器内的80端口到宿主机的阅读全文

posted @ 2022-01-21 09:26 干了这瓶老干妈阅读(693) 评论(0) 推荐(0) 编辑

2022年1月19日

Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/zeppelin/server/ZeppelinServer : Unsupported major.minor version 52.0

摘要：在启动Zeppelin时遇到了该问题： [root@quickstart bin]# ./zeppelin-daemon.sh restart Please specify HADOOP_CONF_DIR if USE_HADOOP is true ./zeppelin-daemon.sh: lin 阅读全文

posted @ 2022-01-19 22:51 干了这瓶老干妈阅读(397) 评论(0) 推荐(0) 编辑

Docker容器和宿主机互传文件

摘要： 1、docker容器向宿主机传送文件格式： docker cp container_id:<docker容器内的路径> <本地保存文件的路径> 例： docker cp 10704c9eb7bb:/root/test.text /home/vagrant/test.txt 2、宿主机向docker 阅读全文

posted @ 2022-01-19 21:22 干了这瓶老干妈阅读(554) 评论(0) 推荐(0) 编辑

zeppelin安装及配置

摘要： 1、下载安装包，zepplin下载地址:http://zeppelin.apache.org/download.html #创建解压目录 mkdir -p /opt/software #解压 tar -zxvf zeppelin-0.9.0-bin-all.tgz -C /opt/software 阅读全文

posted @ 2022-01-19 21:18 干了这瓶老干妈阅读(696) 评论(0) 推荐(0) 编辑

成长小港

公告