10 2022 档案

linux下的/dev/sr0
摘要：/dev/sr0是光驱的设备，/dev/cdrom代表光驱 cdrom是sr0的软链接.你ll /dev/cdrom和ll /dev/sr0看看显示 用df命令查看磁盘驱动器当前的可用空间，用free显示当前可用内存 挂载光驱镜像文件： mount /dev/sr0 /var/www/html/ce 阅读全文
posted @ 2022-10-19 22:41 所向披靡zz 阅读(1438) 评论(0) 推荐(0) 编辑
hadoop核心-Kerberos安全机制
摘要：在大数据领域，安全永远是一个绕不开的话题。 对于一个简单安装的hadoop集群，我们认为有如下安全隐患： 1、可以人为添加一个客户端节点，并以此假冒的客户来获取集群数据。 对于一个假冒的客户端节点，成功加入集群就能够伪装 datanode 让得到 namenode 指派的任务和数据。 2、创建hdf 阅读全文
posted @ 2022-10-18 21:25 所向披靡zz 阅读(154) 评论(0) 推荐(0) 编辑
hadoop核心-纠删码存储技术
摘要：1、纠删码存储技术 CDH6主要集成打包了Hadoop3，包括Hadoop3的一些新特性的官方支持，比如纠删码等。纠删码可以将HDFS的存储开销降低约50%，同时与三份副本策略一样，还可以保证数据的可用性。 副本方式： 默认情况下，HDFS的数据块都会保存三个副本。副本方式是一种容忍磁盘故障简单而有 阅读全文
posted @ 2022-10-18 14:27 所向披靡zz 阅读(192) 评论(0) 推荐(0) 编辑
spark报错：org.apache.spark.SparkException: Job aborted due to stage failure:Task 1 in stage 0.0 failed 4 times
摘要：在运行spark代码时，执行过半报出了如题的异常： org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 460.0 failed 4 times, most recent failure 阅读全文
posted @ 2022-10-09 16:19 所向披靡zz 阅读(3288) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示