2021 年 12月随笔档案 - 坚守梦想

摘要：参考资料： https://blog.csdn.net/Student_xx/article/details/110536644 阅读全文

posted @ 2021-12-28 23:21 坚守梦想阅读(744) 评论(0) 推荐(0) 编辑

摘要：分区数=reducer数参考资料： https://www.bilibili.com/video/BV1Qp4y1n7EN?p=69&spm_id_from=pageDriver 思考： MapTask是怎么工作的？ ReduceTask是怎么工作的？ MapTask如何控制分区、排序？ MapT 阅读全文

posted @ 2021-12-22 00:20 坚守梦想阅读(127) 评论(0) 推荐(1) 编辑

spark中groupByKey 和reduceByKey 的区别?

摘要：在公司第二次写spark任务的时候，跑一小时的数据，大概4000万条客户端请求，因为使用了groupby统计客户端版本分布，结果任务先后出现了time out, out of memory异常（有时候成功，有时候失败）。学习笔记：他们都是要经过shuffle的，groupByKey在方法shuf 阅读全文

posted @ 2021-12-21 23:55 坚守梦想阅读(92) 评论(0) 推荐(0) 编辑

Hadoop MapReduce解决的问题

摘要：1：解决分布式计算的通信问题（你怎么知道任务一有没有结束呢？） 2：解决了分布式计算资源调度问题（比如同时读取到一个文件） 3：解决了分布式计算容错问题（一个任务运行失败了，可以将这个任务的执行交给其他任务）参考资料：MapReduce概述和优缺点。（感谢尚硅谷，感谢大海哥） https://ww 阅读全文

posted @ 2021-12-21 23:41 坚守梦想阅读(269) 评论(0) 推荐(0) 编辑

spark web ui默认8080端口和zookeeper的admin 8080端口冲突，怎么解决？

摘要：修改Spark Web UI默认的8080端口修改SPARK_HOME/sbin目录下start-master.sh，查找8080定位并修改成你想要的端口便可rest if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then SPARK_MASTER_WEBUI_P 阅读全文

posted @ 2021-12-18 19:07 坚守梦想阅读(647) 评论(0) 推荐(0) 编辑

zookeeper启动的时候显示成功，但是jps缺什么都没有。原来是端口被占用，启动失败了。

摘要：查看安装目录的logs目录下面的日志，发现是8080端口被其他进程占用了。（我启动了spark任务，spark的web ui默认也是使用8080端口）题外话，zookeeper的启动日志有bug， Starting zookeeper ... STARTED日志打印出来后，就应该说明zookeep 阅读全文

posted @ 2021-12-18 12:28 坚守梦想阅读(1383) 评论(0) 推荐(0) 编辑

如何下载zookeeper的各个版本？（比如3.4.5）

摘要：百度搜索zookeeper download 》点击download mirror这个网页》点击推荐的donwload网址》archives 》3.4.5 带bin.tar.gz 百度搜索zookeeper download 》点击index of/dist/zookeeper这个网页》arc 阅读全文

posted @ 2021-12-18 12:04 坚守梦想阅读(478) 评论(0) 推荐(0) 编辑

如何下载spark历史版本（比如spark 3.0.0）

摘要：百度spark 》进入spark官网》Download 》Spark release archives. 百度spark 》进入spark Download网页》Spark release archives. 点击菜单栏的Download菜单。 Spark release archives. 阅读全文

posted @ 2021-12-18 11:52 坚守梦想阅读(961) 评论(0) 推荐(0) 编辑

xftp设置如何用notepad++打开文件？

摘要：工具》选项》高级》去掉勾选将记事本作为文本编辑器》选择编辑器路径（notepad++.exe的完整路径）阅读全文

posted @ 2021-12-18 10:58 坚守梦想阅读(527) 评论(0) 推荐(1) 编辑