03 2016 档案

java反编译命令javap
摘要：1. 输出所有类和成员 2. 输出分解后的代码 阅读全文
posted @ 2016-03-31 01:06 高手教程 阅读(511) 评论(0) 推荐(0)
【算法】如何将一个文件分割成多份（C，Java语言实现）
摘要：多线程 阅读全文
posted @ 2016-03-29 08:57 高手教程 阅读(493) 评论(1) 推荐(0)
【算法】计算一篇文章的单词数（C、Java语言实现）
摘要：1. C语言：一个字符一个字符的读取 （有空再贴出来） 2.Java语言：按行读取，并用正则分割成多个单词，再用MapReduce并行计算单词数 (我使用的是ieda，有些地方跟eclipse有点区别) 测试用例： 阅读全文
posted @ 2016-03-29 08:34 高手教程 阅读(479) 评论(0) 推荐(0)
如何将mongodb bson文件转成json文件
摘要：使用mongodb自带的命令 阅读全文
posted @ 2016-03-28 11:49 高手教程 阅读(4505) 评论(0) 推荐(0)
idea和eclipse中构建spark
摘要：https://cwiki.apache.org/confluence/display/SPARK/Useful+Developer+Tools#UsefulDeveloperTools-IDESetup 阅读全文
posted @ 2016-03-26 09:33 高手教程 阅读(173) 评论(0) 推荐(0)
解决spark运行中failed to locate the winutils binary in the hadoop binary path的问题
摘要：1.下载hadoop-common-2.2.0-bin并解压到某个目录 https://github.com/srccodes/hadoop-common-2.2.0-bin 2.设置hadoop.home.dir 阅读全文
posted @ 2016-03-26 09:06 高手教程 阅读(6281) 评论(0) 推荐(0)
idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
摘要：idea中使用scala运行spark出现： 查看build.sbt: 你需要确保 spark所使用的scala版本与你系统scala的版本一致 你也可以这样： 阅读全文
posted @ 2016-03-25 22:17 高手教程 阅读(22137) 评论(0) 推荐(0)
idea中使用sbt构建scala项目及依赖
摘要：1.安装scala插件 http://www.cnblogs.com/yrqiang/p/5310700.html 2. 详细了解sbt: http://www.scala-sbt.org/0.13/docs/zh-cn/Setup.html 阅读全文
posted @ 2016-03-25 22:12 高手教程 阅读(1762) 评论(0) 推荐(0)
idea在线注册码
摘要：http://idea.lanyus.com/ 阅读全文
posted @ 2016-03-25 17:21 高手教程 阅读(749) 评论(0) 推荐(0)
Spark学习资料
摘要：1. 倾情大奉送--Spark入门实战系列 2. Spark GraphX: http://blog.csdn.net/bluejoe2000/article/details/44308167 阅读全文
posted @ 2016-03-25 12:17 高手教程 阅读(168) 评论(0) 推荐(0)
Mongodb备份（mongodump）和恢复（mongorestore）
摘要：1.备份： 2. 恢复： 阅读全文
posted @ 2016-03-24 20:31 高手教程 阅读(161) 评论(0) 推荐(0)
【算法】求多个数组中的交集（Java语言实现）
摘要：简介： 最近在工作中遇到一个问题，需要离线比较两张Mongodb表的差异：大小差异，相同的个数。 所以，我将导出的bson文件转成了json文件（2G以上），一条记录正好是一行。 问题： 因此我将以上问题转换成了比较两个（本例考虑多个）超大数组的交集！所以要求时间复杂度、空间复杂度应该尽可能的低！ 阅读全文
posted @ 2016-03-24 19:00 高手教程 阅读(2638) 评论(0) 推荐(0)
scala学习资料
摘要：1. scala-sbt 构建工具： http://www.scala-sbt.org/0.13/docs/zh-cn/Directories.html 2. 资料： http://www.ibm.com/developerworks/cn/java/j-lo-funinscala2/ https: 阅读全文
posted @ 2016-03-24 14:50 高手教程 阅读(265) 评论(0) 推荐(0)
maven安装scala插件
摘要：默认情况maven不支持scala 所以需要安装maven-scala插件 更新地址：http://alchim31.free.fr/m2e-scala/update-site/ (m2eclipse-scala http://scala-ide.org/docs/tutorials/m2eclip 阅读全文
posted @ 2016-03-24 09:35 高手教程 阅读(1169) 评论(0) 推荐(0)
IntelliJ IDEA中创建并运行scala应用程序
摘要：1.安装scala插件 2.创建scala项目 下载scala SDK，如果你已经下载了，选择你所下载的版本，点击OK 阅读全文
posted @ 2016-03-23 13:22 高手教程 阅读(8512) 评论(0) 推荐(1)
解决eclipse中maven出现的Failure to transfer XXX.jar的问题
摘要：这个问题很烦，试了好几次都没有彻底解决，今天终于找到解决办法了。 问题主要出在，maven在下载jar的过程中出现了中断或者错误问题（不仅仅是eclipse，其他IDE也一样） 解决办法： 移除之前的错误下载！ Linux: Windows: 更新项目： 注意，请确保以上maven目录与你的目录是对 阅读全文
posted @ 2016-03-22 13:17 高手教程 阅读(619) 评论(0) 推荐(0)
初识python yield
摘要：for sel in response.xpath('//ul/li'): item = DmozItem() item['title'] = sel.xpath('a/text()').extract() item['link'] = sel.xpath('a/@href').extract() 阅读全文
posted @ 2016-03-20 13:05 高手教程 阅读(284) 评论(0) 推荐(0)
解决pycharm无法导入本地包的问题（Unresolved reference 'tutorial'）
摘要：在用scrapy（python2.7）写爬虫的时候 from tutorail.items import DmozItem 这一行死活不成功 也就是出现 Unresolved reference 'tutorial' 的问题 当然，其实不只是爬虫，如果你初次导入包是应该也可能会遇见这个问题！ 解决办 阅读全文
posted @ 2016-03-20 13:02 高手教程 阅读(37276) 评论(5) 推荐(6)
理解Python的with as语句
摘要：简单的说， 等价于： 总的来说with... as包含一个错误处理和一个文件关闭功能！ 阅读全文
posted @ 2016-03-19 15:43 高手教程 阅读(503) 评论(0) 推荐(0)
scrapy写爬虫是出现no module named win32api错误
摘要：windows下利用scrapy（python2.7）写爬虫，运行 scrapy crawl dmoz 命令时提示：exceptions.ImportError: No module named win32api 插个话题，这里还需要注意的是你需要到你所创建的爬虫项目目录下运行以上命令，比如你创建了 阅读全文
posted @ 2016-03-19 15:09 高手教程 阅读(36438) 评论(0) 推荐(4)
windows如何安装scrapy
摘要：第一次写博客，有不好的地方请理解！ 在linux下安装scrapy几行命令就搞定了，windows就是事多！ 话不多说，我们直接进入主题： 1. 下载python。地址 https://www.python.org/ ，你可能会很犹豫是下载python3，还是python2。不用犹豫，直接下载pyt 阅读全文
posted @ 2016-03-19 13:23 高手教程 阅读(1478) 评论(0) 推荐(0)