打赏

随笔分类 -  Hadoop 源码解读

关于Apache Hadoop源码原理、机制
详细讲解Hadoop源码阅读工程（以hadoop-2.6.0-src.tar.gz和hadoop-2.6.0-cdh5.4.5-src.tar.gz为代表）
摘要：不多说，直接上干货！ 首先，说的是，本人到现在为止，已经玩过。 对于，这样的软件，博友，可以去看我博客的相关博文。在此，不一一赘述！ Eclipse *版本 Eclipse *下载 Jdk 1.7*安装并配置 Jdk 1.8*安装并配置 JDK的windows和Linux版本之下载 Eclipse下 阅读全文
posted @ 2016-09-21 10:55 大数据和AI躺过的坑 阅读(4490) 评论(0) 推荐(0) 编辑
使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码（博主强烈推荐）
摘要：前言 其实啊，无论你是初学者还是具备了有一定spark编程经验，都需要对spark源码足够重视起来。 本人，肺腑之己见，想要成为大数据的大牛和顶尖专家，多结合源码和操练编程。 准备工作 1、scala 2.10.4(本地的安装) Scala的安装（本地） 2、Jdk1.7+ 或 jdk1.8+ (本 阅读全文
posted @ 2016-09-18 15:52 大数据和AI躺过的坑 阅读(30778) 评论(4) 推荐(1) 编辑
Hadoop源码的编译过程详细解读（各版本）
摘要：说在前面的话 重新试多几次。编译过程中会出现下载某个包的时间太久，这是由于连接网站的过程中会出现假死，按ctrl+c，重新运行编译命令。 如果出现缺少了某个文件的情况，则要先清理maven(使用命令 mvn clean) 再重新编译。 前言 Spark可以通过SBT和Maven两种方式进行编译，再通 阅读全文
posted @ 2016-09-13 20:49 大数据和AI躺过的坑 阅读(5929) 评论(0) 推荐(1) 编辑
Apache Hadoop 源码阅读（陆续更新）
摘要：不多说，直接上干货！ 总之一句话，这些都是hadoop-2.2.0的源代码里有的。也就是不光只是懂理论，编程最重要，还是基本功要扎实啊。。。。 在hadoop-2.2.0的源码里，按Ctrl + Shift + T 。 跳进某个方法里，按F5。F6。 跳出某个方法里，按F7。 欢迎大家，加入我的微信 阅读全文
posted @ 2016-09-03 15:32 大数据和AI躺过的坑 阅读(391) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示