摘要：
给用户添加权限时候出现:sudo: /etc/sudoers is world writable| sudo: /etc/sudoers is world writable解决方式： 阅读全文
摘要：
电脑强制关机后，centos系统启动失败，报异常：锁定文件失败 打不开磁盘“D:\vms\S1\CentOS 64 位.vmdk”或它所依赖的某个快照磁盘。解决办法：进入D:\vms\S1目录，删除下图的两个文件夹： 转自:https://blog.csdn.net/qq_34896163/arti 阅读全文
摘要：
在使用 hdfs 的时候出现如下错误： 18/01/12 09:04:34 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 mi 阅读全文
摘要：
/home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh 启动后执行jps命令，主节点上有Master进程，其他子节点上有Work进行，登录Spark管理界面查看集群状态（主节点）：http://master01:8080/ 到 阅读全文
摘要：
https://blog.csdn.net/lt_java13/article/details/78814676 阅读全文
摘要：
只要出现报错：python -m pip install --upgrade pip。都表示需要进行升级pip版本 查看pip版本：pip -V（pip可能是python2版本或python3版本） 升级pip版本： 阅读全文
摘要：
//********************** 装换操作 ********************* 1、def map[U: ClassTag](f: T => U): RDD[U] 将函数应用于RDD的每一元素，并返回一个新的RDD 2、def filter(f: T => Boolean): 阅读全文
摘要：
1、RDD是整个Spark的计算基石。是分布式数据的抽象，为用户屏蔽了底层复杂的计算和映射环境 RDD是不可变的，如果需要在一个RDD上进行转换操作，则会生成一个新的RDD RDD是分区的，RDD里面的具体数据是分布在多台机器上的Executor里面的。堆内内存和堆外内存 + 磁盘。 RDD是弹性的 阅读全文
摘要：
AKKA NOTES - 介绍演员 任何在过去做过多线程的人都不会否认管理多线程应用程序有多么困难和痛苦。我说管理因为它开始很简单，一旦你开始看到性能改进，它变得非常有趣。但是，当您发现没有更简单的方法从子任务中的错误中恢复或者您发现难以重现的僵尸错误或者当您的探查器显示您的线程花费大量时间阻塞时， 阅读全文
摘要：
一、RDD概述 1、什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查 阅读全文