05 2020 档案

CDH中spark-shell报错: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
摘要：CDH5.8中使用spark-shell时报错：原因是CDH版的Spark从1.4版本以后，Spark编译时都没有将hadoop的classpath编译进去，所以必须在spark-env.sh中指定hadoop中的所有jar包。设置，所有节点都要改：在spark-env.sh中添加一条配置信息，将hadoop的classpath引入, ${HADOOP_HOME}根据自己的情况而定，直接写绝对路径... 阅读全文
posted @ 2020-05-27 17:17 米兰的小铁將 阅读(1294) 评论(0) 推荐(0) 编辑
Linux查看服务器公网ip的方法
摘要：命令： curl cip.cc 阅读全文
posted @ 2020-05-25 12:49 米兰的小铁將 阅读(264) 评论(0) 推荐(0) 编辑
Linux sar 查看网卡流量 网络io
摘要：1、命令使用# 每秒钟查看1次，共查看2次sar -n DEV 1 22、说明IFACE 表示设备名称rxpck/s 每秒接收的包的数量txpck/s 每秒发出的包的数量rxKB/s 每秒接收的数据量，单位KByte 1KB=1000byte=8000bittxKB/s 每秒发出的数据量，单位KByte若服务器丢包非常严重，需要查看网卡流量是否异常。接收数据部分 rxpck大于4000，或者rxK... 阅读全文
posted @ 2020-05-13 11:33 米兰的小铁將 阅读(2096) 评论(0) 推荐(0) 编辑
Docker为何需要OS的基础镜像？
摘要：原文：https://blog.csdn.net/krismile__qh/article/details/99883273所有docker容器都是使用的宿主机的OS。这一点和Virtual Machine会虚拟化出Guest OS完全不同。你可以试一下，假设你的宿主机是Ubuntu 16.04的，内核版本是4.9。不管你运行哪个版本的ubuntu/cent OS容器，看内核版本都是4.9。共用H... 阅读全文
posted @ 2020-05-12 13:29 米兰的小铁將 阅读(1023) 评论(0) 推荐(0) 编辑
Spark中reduceByKey(_+_)的说明
摘要：原文：https://www.cnblogs.com/zhangrui153169/p/11375643.html比如我的内存中存在如下的以key-value形式的数据集（RDD）：hello:1 sparkSubmit:1 red:1 sparkSubmit:1 hello:2 hello:1 hello:4 red:1 red:1 red:1 ...... 阅读全文
posted @ 2020-05-12 11:24 米兰的小铁將 阅读(558) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示