摘要：
Xpath在分析网页尤其是采集固定格式数据时，非常有用，且比正则表达式和首尾截取式更加简便、准确！ Xpath在分析网页尤其是采集固定格式数据时，非常有用，且比正则表达式和首尾截取式更加简便、准确！ Xpath在分析网页尤其是采集固定格式数据时，非常有用，且比正则表达式和首尾截取式更加简便、准确！ 阅读全文
摘要：
pydev插件安装方式如果采取从网络上下载，然后解压到eclipse中文件夹到方式，运行到时候可能会导致重启eclipse后根本看不到这个插件！ 原因以及解决方式，看下面！ 转自：http://www.cnblogs.com/restran/archive/2011/11/11/2245812.ht 阅读全文
摘要：
hive被大多数企业使用，学习它，利于自己掌握企业所使用的技术，这里从安装使用到概念、原理及如何使用遇到的问题，来讲解hive，希望对大家有所帮助。此篇内容较多：看完之后需要达到的目标1.hive是什么2.明白hive的原理3.会使用hive4.会使用hive编程1.hive首先我们需要hive是什 阅读全文
摘要：
环境：CentOS6.5 Hadoop2.5.2 HBase1.0.0 1.安装好 hadoop 集群，并启动 [grid@hadoop4 ~]$ sh hadoop-2.5.2/sbin/start-dfs.sh [grid@hadoop4 ~]$ sh hadoop-2.5.2/sbin/sta 阅读全文
摘要：
问题导读：1.配置的是谁的目录conf/hbase-site.xml，如何配置hbase.rootdir2.如何启动hbase？3.如何进入hbase shell?4.ssh如何达到互通？5.不安装NTP会发生什么情况？6.conf/hbase-env.sh文件的作用是什么？7.hbase.clus 阅读全文
摘要：
列出当前hadoop正在执行的jobs: [hadoop@192.168.10.11 hadoop-0.20.2-cdh3u3]$ hadoop job -list10 jobs currently runningJobId State StartTime UserName Priority Sch 阅读全文
摘要：
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop 阅读全文
摘要：
IntelliJ Idea 常用快捷键列表 Alt+回车 导入包,自动修正Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码 Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get,set方法,构造函数等)Ctrl+E或者Alt+Shift 阅读全文
摘要：
Scrapy是爬虫抓取框架，Pycharm是强大的python的IDE，为了方便使用需要在PyCharm对scrapy程序进行调试 python PyCharm Scrapy scrapy指令其实就是一个python的运行脚本 pyCharm是一个强大的pythonIDE 在运行scrapy库时，其 阅读全文
摘要：
1. pip 在 PyCharm 无法自动更新 2. https://pip.pypa.io/en/latest/installing.html 官方网页要求在 cmd中输入以下命令进行 pip的 更新： 阅读全文