*逍遥*

摘要： 1. 您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中（比如否F:/demo），运行下列命令: scrapy startproject tutorial 2.在eclipse中创建一个python项目 ，在F:/demo目录下 把刚创建的项目 tutorial 和scrapy.cfg 阅读全文

摘要： windows系统上出现这个问题的解决需要安装Py32Win模块，更方便的做法是： windows系统上出现这个问题的解决需要安装Py32Win模块，更方便的做法是： pip install pypiwin32 pip install pypiwin32 pip install pypiwin32 阅读全文

摘要： 首先升级pip 虽然提示说已经升级，但是查看版本还是发现不对，随即进入C:\Python34\Lib\site-packages 查看已经存在9.0.1的版本，怎么办？将其移除，重新升级 安装lxml lxml是解析网页用的，scrapy依赖于它，它是一个第三方的库，这里推荐一个Python第三方库 阅读全文

摘要： 1，两者区别 du，disk usage,是通过搜索文件来计算每个文件的大小然后累加，du能看到的文件只是一些当前存在 的，没有被删除的。他计算的大小就是当前他认为存在的所有文件大小的累加和。 df，disk free，通过文件系统来快速获取空间大小的信息，当我们删除一个文件的时候，这个文件不 是马 阅读全文

摘要： 第二次迭代 第三次迭代 阅读全文

摘要： PageRank计算什么是pagerankPageRank是Google专有的算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。是Google创始人拉里·佩奇和谢尔盖·布林于1997年创造的PageRank实现了将链接价值概念作为排名因素。 PageRank计算算法原理（1）入链 阅读全文

摘要： 1.通过eclipse中的hdfs插件上传文件，上传成功，但是查看是乱码。 查阅文件本身的编码方式，发现是utf-8，同时文件在项目目录下，显示正常，因为我把它的编码格式也设成了utf-8。 2.通过xftp将文件上传到linux中，通过vi命令查看文件，显示正常。 3.通过hadoop fs /o 阅读全文

摘要： static表示“全局”或者“静态”的意思，用来修饰成员变量和成员方法，也可以修饰静态static代码块，但是Java语言中没有全局变量的概念。 被static修饰的成员变量和成员方法独立于该类的任何对象。也就是说，它不依赖类特定的实例，被类的所有实例共享。 只要这个类被加载，Java虚拟机就能根据类名在运行时数据区的方法区内定找到他们。因此，static对象可以在它的任何对象创建之前访问... 阅读全文

摘要： weatherMapper package com.laoxiao.mr.weather; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Calendar; import ja 阅读全文

摘要： 本地测试环境(windows)： 在windows的hadoop目录bin目录有一个winutils.exe 1、在windows下配置hadoop的环境变量 2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin 3、修改hadoop的源码 ，注意：确保项目的lib需要 阅读全文