摘要: NetCat是一个非常简单的Unix工具,可以读、写TCP或UDP网络连接(network connection)。它被设计成一个可靠的后端(back-end) 工具,能被其它的程序程序或脚本直接地或容易地驱动。同时,它又是一个功能丰富的网络调试和开发工具,因为它可以建立你可能用到的几乎任何类型的连 阅读全文
posted @ 2020-11-06 16:36 kpwong 阅读(300) 评论(0) 推荐(0) 编辑
摘要: Windows下安装Scala: Scala是一种类似Java的纯面向对象的函数式编程语言,由于函数具有明确的确定输入对确定输出的关系,所以适合推理和计算,一切函数都可以看成一系列的计算组成,另外由于Scala函数是没有副作用和透明的,所以非常适合做多核并行计算和云计算,现在正被越来越多的应用到生产 阅读全文
posted @ 2020-10-31 11:06 kpwong 阅读(248) 评论(0) 推荐(0) 编辑
摘要: 访问DFS时候。出现: Permission denied: user=dr.who, access=READ_EXECUTE, inode="/user":root:supergroup:drwx-wx-wx 问题. 二、分析 在浏览器查看目录和删除目录及文件,为什么会是dr.who,dr.who 阅读全文
posted @ 2020-10-24 14:10 kpwong 阅读(4893) 评论(0) 推荐(0) 编辑
摘要: 1:修改spark-defaults.conf文件。添加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop102:9000/sparklog spark.eventLog.compress truespark.yarn. 阅读全文
posted @ 2020-10-24 10:04 kpwong 阅读(1200) 评论(0) 推荐(0) 编辑
摘要: 1:在resources文件夹下添加log4j.properites文件。 2:编辑log4j.properites。添加如下代码. log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppende 阅读全文
posted @ 2020-10-23 22:17 kpwong 阅读(114) 评论(0) 推荐(0) 编辑
摘要: 1:把zip文件解压缩到安装目录. 2:设置国内镜像.(修改conf/setting.xml文件) <mirrors> <!-- mirror | Specifies a repository mirror site to use instead of a given repository. The 阅读全文
posted @ 2020-10-23 22:12 kpwong 阅读(143) 评论(0) 推荐(0) 编辑
摘要: Pom文件添加: <dependencies> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-simple</artifactId> <version>1.7.25</version> <scope>compile</scop 阅读全文
posted @ 2020-10-15 20:59 kpwong 阅读(126) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-10-15 15:35 kpwong 阅读(73) 评论(0) 推荐(0) 编辑
摘要: 缺省的镜像系统中 ifconfig,ping 是没有安装的。需要自己安装 apt-get update apt-get install net-tools #安装ifconfig命令 apt-get install iputils-ping #安装ping命令 阅读全文
posted @ 2020-10-14 09:07 kpwong 阅读(261) 评论(0) 推荐(0) 编辑
摘要: hadoop 系统第一次格式化系统运行 bin/hdfs namenode -format 完成后,运行一段时间。想重新格式化系统。需要注意。 第一步:关停hadoop进程.NameNode,DataNode. 第二步:手动删除Data,logs目录。 第三步:运行 bin/hdfs namenod 阅读全文
posted @ 2020-10-11 08:43 kpwong 阅读(2965) 评论(0) 推荐(0) 编辑