lbeaner

摘要： 今天删除hdfs上的文件夹，结果报错 原因是namenode处于安全模式，首先尝试强制退出安全模式 hadoop dfsadmin -safemode leave 终端显示 Safe mode is OFF，奇怪的是还是显示namenode is in safe mode. 此时输入hdfs dfs 阅读全文

摘要： idea中运行spark项目出现：org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 网上的方法很多，最后试成功的只有修改源码的方法 1.在源码中找到错误的方法access 2.注释掉源码retur 阅读全文

摘要： 启动kafka时出现错误 问题就发生在logs文件 ERROR Shutdown broker because all log dirs failed：意思大概是所有的log文件不能用，这样的情况可能是权限问题 那么进入logs查看 当前我们的用户是hadoop，而log文件都是root用户所属，因 阅读全文

摘要： 1.LINUX中的文件类型 ·普通文件 Regular File LINUX系统未对文件内容规定结构，这也是LINUX系统与Windows系统的差别，在Windows中，文件的后缀名是非常重要的（比如.doc、.txt等等） LINUX中只有处理文件的应用程序会根据文件的内容赋予相应的含义，那么只要 阅读全文

摘要： 运行了一个Scala程序发现报错 发现自己一直没有配置本地hadoop的环境 1.编辑系统环境变量添加HADOOP_HOME（hadoop压缩包的解压路径） 2.接着在Path添加一行 3.配置好之后再测试 4.在 IDEA 中配置 Run Configuration，添加 HADOOP_HOME 阅读全文

摘要： 1.HDFS的产生背景 数据量的增多，需要有一种系统管理多台机器的文件，于是产生DFS(Distributed File System) 2.HDFS简介 Hadoop项目的核心之一，用于数据存储，HDFS基于GFS开源实现。 3.HDFS优点 ·处理超大文件--MB到TB级（相对应的它不适用于存储 阅读全文

摘要： 将spark文件上传到Linux并解压缩，使用的版本是spark-3.0.0-bin-hadoop3.2.tgz tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /kkb/softcd /kkb/softmv spark-3.0.0-bin-hadoop3.2 阅读全文

摘要： 今天使用secure CRT链接虚拟机的时候发现乱码，网上各种方法都试过还是没有解决，最终点击公钥助手给了一个报错 SecureCRT SecureCRT 遇到一个致命的错误且必须关闭。一个崩溃转储文件已创建于:C:\Users\owz14\AppData\Roaming\SecureCRT.dmp 阅读全文

摘要： 转自：菜鸟教程 (runoob.com) Hashtable是原始的java.util的一部分， 是一个Dictionary具体的实现 。 Java 2 重构的Hashtable实现了Map接口，因此，Hashtable现在集成到了集合框架中。它和HashMap类很相似，但是它支持同步。 像Hash 阅读全文

摘要： Arrays java.lang.Object java.util.Arrays 此类包含用来操作数组（比如排序和搜索）的各种方法。此类还包含一个允许将数组作为列表来查看的静态工厂。 除非特别注明，否则如果指定数组引用为 null，则此类中的方法都会抛出 NullPointerException。 阅读全文