摘要： 错误: 编码GBK的不可映射字符 原因： mvn编译的时候默认使用的GBK编码,与你的编码方式冲突 解决办法: 在pom.xml文件里加入 1 <properties> <!-- 指明编译源代码时使用的字符编码，maven编译的时候默认使用的GBK编码， 通过project.build.source 阅读全文

摘要： 在运行本地运行spark或者hadoop代码时可能会遇到一下三种问题 1.Exception in thread "main" java.lang.UnsatisfiedLinkError：org.apache.hadoop.io.native.NativeID$Windows.access0 2. 阅读全文

摘要： 报错： org.apache.hadoop.security.AccessControlException: Permission denied: user=hgm, access=WRITE 其实就是当前window下hgm user没有hdfs的写权限 sudo -u hdfs hdfs dfs 阅读全文

摘要： SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.s 阅读全文

摘要： flink idea 打包jar 并放到集群上运行 在开始之前注意前提，当前项目的scala的版本要和集群上的scala一致 我已经创建好一个wordCount的flink项目 注意项目的pom文件给这些依赖加上<scope>provided</scope>（表示执行和打包都不用此依赖，只有编译时用 阅读全文

摘要： 我启动hadoop on yarn 集群后 [root@node1 flink-1.6.1]# ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 报的如下错误 1 Caused by: org.apache.flink.yarn.AbstractYarnClu 阅读全文

摘要： 现在大数据相关服务，越来越倾向于使用scala语言，scala函数式编程的优势我不多赘述。最明显的一个优点，代码简洁。看个WordCount实现对比： Java版WordCount 1 ExecutionEnvironment env = ExecutionEnvironment.getExecut 阅读全文

摘要： 回滚版本 git reset --hard HEAD^ 回滚上一个版本 git reset --hard 版本号（或者版本号前6位） 回滚到指定版本 如果修改版本了，也关了窗口，后来后悔了，最后的方法可以拯救 获得版本号 前6位 用git reset --hard 版本号 前6位 删除 rm rea 阅读全文

摘要： 系统：win10 hadoop-2.6.0版本 java:1.8 版本32位 wordcount在本地运行时报错： Exception in thread "main" java.lang.UnsatisfiedLinkError：org.apache.hadoop.io.native.Native 阅读全文

摘要： git: 团队协作开发 版本管理 创建项目的文档 初始化 编写项目 把文件add到git仓库，其实是放到了git的代码暂存区 工作区有一个隐藏目录 .git，这个不算工作区，而是Git的版本库 Git的版本库里存了很多东西，其中最重要的就是成为stage(或叫index )的暂存区，还有Git为我们 阅读全文