07 2016 档案
摘要：ps -A | grep -i mysql kill 列出来的进程 service mysql start 我的问题就解决了 Fedora8启动mysql 报错：ERROR 2002 (HY000): Can’t connect to local MySQL server through socke
阅读全文
摘要：1、Hive介绍 1.1 Hive介绍 Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它是Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL语句作为数据访问接口，Hive有如下优缺点： l 优点： 1.Hive 使用类SQL 查询
阅读全文
摘要：主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr,
阅读全文
摘要：Hadoophivehqlroadmap学习路线图 1 Comment Hive学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chu
阅读全文
摘要：C++计算机视觉 CCV —基于C语言/提供缓存/核心的机器视觉库，新颖的机器视觉库 OpenCV—它提供C++, C, Python, Java 以及 MATLAB接口，并支持Windows, Linux, Android and Mac OS操作系统。 通用机器学习 MLPack DLib ec
阅读全文
摘要：maven介绍 maven介绍 maven是构建工具，也是构建管理工具。ant只是构建工具，因为不支持生成站点功能，只有预处理，编译，打包，测试，部署等功能。 maven坐标 maven坐标 groupId：项目组织的逆向域名，比如Apache的项目可以org.apache开头 artfactId：
阅读全文
摘要：1.hadoop的dfs.nameservices如何配置？2.集群配置中hdfs://mycluster的作用是什么？3.如何将namenode2切换为active状态？在参考本手册前请确保Hadoop中HDFS组件已经成功部署并正常运行，同时系统基本环境完备，包括ssh免密码登录、/etc/ho
阅读全文
摘要：linux maven安装及 eclipse maven插件安装，有需要的朋友可以参考下。 1. maven的安装(apache-maven-3.0.5为例)： ａ.官网地址：http://maven.apache.org/，下载完成之后将其解压到usr/local/目录下 ｂ.配置 maven 环
阅读全文
摘要：在我们安装Linux系统时，刚开始的时候可能没有安装图形界面的需要，但在使用过程中却有可能产生这种需求。那么这种情况下，我们需不需要重新安装Linux系统来安装桌面呢？答案是不需要。下面我将交大家在已有的Linux系统的基础上安装genom桌面。 检查Linux系统是否能够联网。 可用 ping w
阅读全文
摘要：一般说来都是安装到/usr/share和/usr/local里了你可以通过whereis 软件名来查找系统里的文件位置比如你想查找eclipse文件，那么就：[root@localhost ~]# whereis eclipse会显示：eclipse: /usr/bin/eclipse /usr/l
阅读全文
摘要：在 cd /home/hadoop/hadoop-2.5.2/bin 下 执行的./hdfs namenode -format 报错[hadoop@node1 bin]$ ./hdfs namenode –format 16/07/11 09:21:21 INFO namenode.NameNode
阅读全文
摘要：搭建环境:Centos x 6.5 64bit (后来：我才知道原来官网上发布的就是64位的，不过这个对我来说是个学习过程，对以后进行其他平台编译的时候有帮助！) 搭建环境:Centos x 6.5 64bit (后来：我才知道原来官网上发布的就是64位的，不过这个对我来说是个学习过程，对以后进行其
阅读全文
摘要：在VMware里克隆出来的CentOS Linux。。 ifconfig...没有看到eth0.。然后重启网卡又报下面错误。 故障现象： service network restartShutting down loopback insterface: [ OK ]Bringing up loopb
阅读全文
摘要：偶尔，我看到了一部电影：Homeless to Harvard （风雨哈佛路） 说句老实话，她（ Liz Murray 莉丝·默里 ）的经历确实让人钦佩和学习！ 下面我看到他人写的有这本电影的评论，觉得十分有道理，故将起粘贴如下： 许多人从电影中认识了Liz Murray和她的故事。许多人为之感动。
阅读全文
摘要：Windows平台上使用ANT编译Hadoop Eclipse Plugin Windows平台上使用ANT编译Hadoop Eclipse Plugin 一、准备工作： 1、安装JDK 下载页面：http://www.oracle.com/technetwork/java/javase/downl
阅读全文
摘要：/** * author : 冶秀刚 * mail : dennyy99@gmail.com */ Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，
阅读全文
摘要：在hadoop第前几个版本中是没有快照功能的，2.x中是有这个特性的 Hadoop 2.x HDFS新特性 HDFS快照 HDFS快照 在2.x终于实现了快照 设置一个目录为可快照： hdfs dfsadmin -allowSnapshot <path> 取消目录可快照： hdfs dfsadmin
阅读全文
摘要：Hadoop 2.x HDFS新特性 1.HDFS联邦 2. HDFS HA（要用到zookeeper等） 3.HDFS快照 回顾： HDFS两层模型 Namespace： 包括目录、文件和块。它支持所有命名空间相关的文件操作，如创建、删除、修改，查看所有文件和目录。 Block Storage S
阅读全文
摘要：HDFS是Hadoop的核心模块之一，围绕HDFS是什么、HDFS的设计思想和HDFS的体系结构三方面来介绍。 Hadoop的设计思想受到Google公司的GFS设计思想的启示，基于一种开源的理念实现的分布式分布式文件系统。HDFS的设计基础与目标如下。 1）硬件错误（Hardware Failur
阅读全文
摘要：照抄于网络： docs/hdfs-default.html这里是hdfs参数的含义。其中可见dfs.replication.min最小副本数dfs.safemode.threshold.pct阈值比例 Specifies the percentage of blocks that should sa
阅读全文
摘要：背景 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 具体到Hadoo
阅读全文
摘要：什么叫重构？ 百度百科上说：重构就是通过调整程序代码改善软件的质量、性能，使其程序的设计模式和架构更趋合理，提高软件的扩展性和维护性。 改代码是行为，质量性能的提高是愿望。 实际上改代码未必能使软件变得更好，也可能软件大规模改动之后，反而变得更差了 故重构的也的将就方法和技巧 1.不懂重构，为了重构
阅读全文
摘要：hadoop的hdfs文件系统中，默认的是utf-8, 故你上传的文件是要设置成utf-8。当输入的是gbk，有该如何？ 输入是GBK文件, 输出也是 GBK 文件的示例代码: Hadoop处理GBK文本时,发现输出出现了乱码,原来HADOOP在涉及编码时都是写死的UTF-8，如果文件编码格式是其它
阅读全文
摘要：环境：win7 eclipse hadoop 1.1.2 当执行创建文件的的时候， 即： String Path = "hdfs://host2:9000"; FileSystem fileSystem = FileSystem.get(new URI(Path),new Configuration
阅读全文
摘要：redhat6.2 x32 在终端中输入：vi /etc/sysconfig/network-scripts/ifcfg-eth0 开始编辑，填写ip地址、子网掩码、网关、DNS等。其中“红框内的信息”是必须得有的 我的其中一台虚拟机host8为： 编辑完后，保存退出。（：wq） 重启网络服务。se
阅读全文
摘要：他说： 在校大学生应该做好这四件事情： 1. 一定要学到很必要的知识 2.要学会交的很好的朋友 3.若有可能的话，体验一下爱情 4.要为未来就业做好准备 我们要走向一个成熟的个人时代， 未来我们还有走过未来的80年需要我们走过， 而生命的走的多精彩，是没有时间的限制的 只要我们坚韧不拔的奋斗，只要我
阅读全文
摘要：RedHat linux 默认是安装了yum软件的，但是由于激活认证的原因让redhat无法直接进行yum安装一些软件，如果我们需要在redhat下直接yum安装软件，我们只用把yum的源修改成CentOS的就好了，然后把源里面的变量全部修改成实际的值，这样就能使用yum直接安装我们需要的软件了。
阅读全文
摘要：在安装ganglia的时候，需要安装ttdtol, 否则是不运去安装的。查可很多，这个可以。 我的环境： [hadoop@host8 ~]$ lsb_release -aLSB Version: :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:gra
阅读全文
摘要：在master（即：host2）中执行 hadoop jar hadoop-test-1.1.2.jar DFSCIOTest -write -nrFiles 12 -fileSize 10240 -resFile test 最后fail，为啥，看了一下日志 attempt_201607141305
阅读全文
摘要：原文 http://www.cnblogs.com/wolfblogs/p/4147485.html 用了一段时间的hadoop，现在回来看看源码发现别有一番味道，温故而知新，还真是这样的 在使用hadoop之前我们需要配置一些文件，hadoop-env.sh，core-site.xml，hdfs-
阅读全文
摘要：hadoop集群中主要进程有master: NameNode, ResourceManager,slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild其中 RunJar, MRAppMaster,YarnChild与随着某个job的创
阅读全文
摘要：hadoop fs：使用面最广，可以操作任何文件系统。 hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。 以下内容参考自stackoverflow Following are the three co
阅读全文
摘要：转：http://blog.csdn.net/jediael_lu/article/details/38705371 以下程序在hadoop1.2.1上测试成功。 本例先将源代码呈现，然后详细说明执行步骤，最后对源代码及执行过程进行分析。 一、源代码 二、执行程序 1、从eclipse从导出至wor
阅读全文
摘要：部分内容参考：http://www.linuxqq.net/archives/964.html http://slaytanic.blog.51cto.com/2057708/1100974/ http://blog.csdn.net/jediael_lu/article/details/38680
阅读全文
摘要：我执行下面步骤： 1、 动态增加DataNode节点和TaskTracker节点 以host9为例 在host9上执行： 指定主机名 vi /etc/hostname 指定主机名到IP地址的映射 vi /etc/hosts （hosts就是对datanode 和trac） 增加用户和组 addgro
阅读全文
摘要：有时候在下载jdk或其它用图的时候，可能需要查看一下这个cpu的型号 [root@subvm ~]# less /proc/cpuinfo |grep modelmodel : 4model name : Intel(R) Xeon(TM) CPU 3.00GHzmodel : 4model nam
阅读全文
摘要：为了达到以下负责均衡，需要调整以下 改变负载 三台机器，改变负载 host2(NameNode、DataNode、TaskTracker) host6(SecondaryNameNode、DataNode、TaskTracker) host8(JobTracker 、DataNode、TaskTra
阅读全文
摘要：secondarynamenode 图： secondarynamenode根据文件的的大小对namenode的编辑日志和镜像日志 进行合并。 光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其 实不是。snn是
阅读全文
摘要：有人工作，有人继续上学，大家千万不要错过这篇文章，能看到这篇文章也是一种幸运，真的受益匪浅，对我有很大启迪，这篇文章将会改变我的一生，真的太好了，希望与有缘人分享，也希望对有缘人有所帮助！看完之后有种“相见恨晚”的感觉，特别激动，希望大家好好的珍藏这篇文章，相信多年以后，再来看这篇文章，一定有不同的
阅读全文
摘要：linux环境下面配置虚拟主机域名 第一步:在root目录下面(即根目录)ls(查看文件)cd进入etc目录find hosts文件vi hosts 打开hosts文件并进行编辑在打开的文件最下面添加:192.168.8.115 domain.com.cn 第二步:cd /usr/local/apa
阅读全文
摘要：hadoop启动后jps没有namenode 一般都是由于两次或两次以上格式化NameNode造成的，有两种方法可以解决： 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改Nam
阅读全文
摘要：这个是我自己写的，鼓励转载，请说明转载地址：http://www.cnblogs.com/nucdy/p/5664840.html 在进行hadoop的免密码的登录操作是，老是发生no route等错误，这个源于是查了一下午，原因是ssh免密码没有做好 下面我说一下我这个是如何做到免密码的问题 在m
阅读全文
摘要：一.在root下进行格式化 这样很糟糕 这样的话，若是第一次装的话，我的建议是将生成的文件都删掉，恢复到最开始的状态， 1. 首先你需要删除 vi conf/hdfs-site.xml 配置文件的dfs.name.dir和dfs.data.di的路径位置，我的是：/home/hadoop/dfs 故
阅读全文
摘要：RedHat中敲sh-copy-id命令报错：-bash: ssh-copy-id: command not found 在多台Linux服务器SSH相互访问无需密码， 其中进入一台Linus中，对其进行拷贝一下到host中，出现 会不会是用户的权限问题，在root下执行： [root@host6
阅读全文
摘要：在配置hadoop是，进行格式化hadoop的时候，出现找不到jdk 我用Red hat是32位的，没有现成的32位的，敲java , 发现本机有java ,就找了一下其位置 找到了jdk-1.6.0 which java [root@host2 hadoop-1.1.2]# which java/
阅读全文
摘要：在root下无法完成添加用户组操作，如下： [root@host8 ~]# addgroup hadoop-bash: addgroup: command not found 这是的，root下竟然不能用，上网查了一下： 引用:http://blog.csdn.net/nanyida0416sush
阅读全文
摘要：我自己在windows中文件中，直接将一个虚拟机进行复制了一份，后用vm打开， 选择我已经移到，结果会出现了一下的情况， 导致了我无法ping 通，故我看到一下提示： 原来是我两台虚拟机的MaC ,即物理地址和备份的虚拟机重复了 另外一台也是：88 故需要改一下MAC地址： 我这里用的是VM12.0
阅读全文
摘要：有几种方式修改Redhat的主机名字，这些方法也适合其他的Centos系统，下面介绍Red hat怎么永久修改主机名hostname的三种方法。方法一: 说明"hostname" 命令临时解决.你可以查看当前服务器的名字信息# hostnamebighat.putorius.net你还可以用来修改主
阅读全文
摘要：Java语言的输入输出功能是十分强大而灵活的，美中不足的是看上去输入输出的代码并不是很简洁，因为你往往需要包装许多不同的对象。在Java类库中，IO部分的内容是很庞大的，因为它涉及的领域很广泛:标准输入输出，文件的操作，网络上的数据流，字符串流，对象流，zip文件流....本文的目的是为大家做一个简
阅读全文
摘要：总结、归纳查看Linux系统是32位还是64位的一些方法，很多内容来自网上网友的博客。本篇只是整理、梳理这方面的知识，方便自己忘记的时候随时查看。 方法1：getconf LONG_BIT 查看 如下例子所示： 32位Linux系统显示32， 64位Linux系统显示64。最简单、快捷的方法。 [r
阅读全文
摘要：配置hadoop-1.2.1出现localhost: Error: JAVA_HOME is not set. 具体为： hadoop@dy-virtual-machine:~/hadoop-1.2.1$ start-all.shstarting namenode, logging to /home
阅读全文
摘要：我用的是hadoop 1.2.1 遇到的问题是： hadoop中datanode无法启动，报Caused by: java.net.NoRouteToHostException: No route to host 切换root用户将所有机器上的防火墙都关闭。 重新启动。成功。 一定要从新启动，是因为
阅读全文
摘要：1、/bin ：获得最小的系统可操作性所需要的命令2、/boot ：内核和加载内核所需的文件3、/dev ：终端、磁盘、调制解调器等的设备项4、/etc ：关键的启动文件和配置文件5、/home ：用户的主目录6、/lib ：C编译器的库和部分C编译器7、/media ：可移动介质上文件系统的安装点
阅读全文
摘要：转载自 http://weilaiyxj.iteye.com/blog/913166 本文约定： DN: DataNode TT: TaskTracker NN: NameNode SNN: Secondry NameNode JT: JobTracker 本文介绍Hadoop各节点和Client之
阅读全文
摘要：问题导读 1.Hadoop生态圈介绍了哪些组件，分别都是什么？ 2.大数据与Hadoop是什么关系？ 本章主要内容： 理解大数据的挑战 了解Hadoop生态圈 了解Hadoop发行版 使用基于Hadoop的企业级应用 你可能听别人说过，我们生活在“大数据”的环境中。技术驱动着当今世界的发展，计算能力
阅读全文
摘要：说明：本文档所有的操作均在满足以下条件的情况下操作， A、远程Linux服务器已经安装好MySQL数据库 B、本地电脑可以ping通远程服务器 C、已经成功安装了Myeclipse 一、下载mysql-connector-java-3.1.14-bin.jar 这个是连接mysql数据库的驱动器。
阅读全文
摘要：针对上一篇文章中出现的问题：Command crawl is deprecated, please use bin/crawl instead错误信息，今天在官网上查阅了一下，进行了总结。 官网link：http://wiki.apache.org/nutch/bin/nutch%20crawl 一
阅读全文
摘要：来自：维基百科，自由的百科全书 Apache Spark是一个开源簇运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了内存内运算技术，能在数据尚未写入硬盘时即在内存内分析运算。Spark在内存内运行程
阅读全文
摘要：首先在网上查了一下： Solr Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引;也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。 Solr引擎 Solr
阅读全文
摘要：方法主要有三种 转换函数、强制类型转换、利用js变量弱类型转换。 1. 转换函数： js提供了parseInt()和parseFloat()两个转换函数。前者把值转换成整数，后者把值转换成浮点数。只有对String类型调用这些方法，这两个函数才能正确运行；对其他类型返回的都是NaN(Not a Nu
阅读全文
摘要：在我们的对2016年大数据行业的预测文章《2016年大数据将走下神坛拥抱生活 资本青睐创业机会多》里，我们曾经提到“在2016年，防止网站数据爬取将变成一种生意。”。今天我找到了来自”BSDR“的一篇文章，文章里主要介绍了常见的反爬虫应对方法，下面是正文。 常见的反爬虫 这几天在爬一个网站，网站做了
阅读全文
摘要：2002年8月由Doug Cutting发起，托管于Sourceforge，之后发布了0.4、0.5、0.6三个版本 2004年9月Oregon State University（俄勒冈州立大学）采用Nutch 2004年9月Creative Commons（知识共享）推出基于Nutch的搜索服务
阅读全文
摘要：Apache Ivy是一个管理项目依赖的工具 它与Maven Apache Maven 构建管理和项目管理工具已经吸引了 Java 开发人员的注意。Maven 引入了 JAR 文件公共存储库的概念，可通过公开的 Web 服务器访问（称为 ibiblio）。Maven 的方法减少了 JAR 文件膨胀的
阅读全文
摘要：转：http://www.linuxidc.com/Linux/2012-10/71557.htm 首先确实不得不说，网上有很多类似Ubuntu下安装JDK7的教程。不过大都是基于JDK6的bin文件。如果你现在去Oracle官网去看一下的话，会发现都变成.tar.gz的压缩文件了。 另外本文还顺带
阅读全文
摘要：ubuntu安装好之后，默认是不能用root用户登录桌面的，只能使用普通用户或者访客登录。怎样开启root用户登录桌面呢？ 先用普通用户登录，然后切换到root用户，然后执行如下命令： 在打开的文件里添加一句： 这句的意思是在登录时允许用户自己输入用户名和密码。 然后给root用户设置登录密码，设置
阅读全文
摘要：作为系统管理员，你可能经常会（在某个时候）需要查看系统中有哪些用户正在活动。有些时候，你甚至需要知道他（她）们正在做什么。本文为我们总结了4种查看系统用户信息（通过编号（ID））的方法。 1. 使用w命令查看登录用户正在使用的进程信息 w命令用于显示已经登录系统的用户的名称，以及他们正在做的事。该命
阅读全文
摘要：Linux下修改root密码方法 以root身份登陆，执行： 然后根据提示，输入新密码，再次输入新密码，系统会提示成功修改密码。 具体示例如下： Linux下添加新用户的命令 Linux下root密码找回方法 Linux的root享有至高无上的权力，一旦root密码忘记或者被盗，是一件非常头痛的事情
阅读全文
摘要：为了能在自己笔记本电脑上兼容公司的用64位系统编译出来的MapReduce程序，我把自己原来32位的ubuntu虚拟机删除后，安装了目前最新的ubuntu-14.04.2-desktop-amd64.iso。 但问题出现了，我的Winscp和putty都连接不上我的ubuntu系统，经一番探索，总结
阅读全文
摘要：Nutch相关框架安装使用最佳指南 Chinese installing and using instruction - The best guidance in installing and using Nutch in China 国内首套免费的《Nutch相关框架视频教程》 土豆在线观看地址：
阅读全文
摘要：首先，我十分的感谢华玲老师的信任和帮助，在最为关键的时候能够给我签字，感谢母亲的给我自由和允许，这个对我来说是一个很大的鼓励。 假期给自己一个任务： 1、认真学习，将大数据基本的知识进行学习，搭建hadoop， hive. hbase 等 ， 用nutch 框架进行爬虫 2. 生活中认真的锻炼身体，
阅读全文
摘要：参照这里： 图形连接 http://wenku.baidu.com/view/f50838086c85ec3a87c2c53a.html 还有查看的是这个： 2、 重新用Window验证方式登陆，在左边的树结构中选择“数据库”下面的“安全性”选项——登录名——sa，右键属性——在“SQLServer
阅读全文
摘要：这个经常用的到，就来总结一下 #一下是JAVA中的正则表达式 在 JDK1.4 里有了自己的正则表达式 API 包，JAVA 程序员可以免去找第三方提供的正则表达式库的周折了，我们现在就马上来了解一下这个 SUN 提供的迟来恩物 - - 对我来说确实如此。 java.util.regex 它包括两个
阅读全文
摘要：//验证字符串非空 var Validator = { VerityLib: { IsNotEmpty: function (input) { if (input != '') { return true; } else { return false; } }, //验证数字(double类型) [
阅读全文
摘要：学习啥都需要一个基础 基础很重要： HTML 4 的新特性之一是可以使 HTML 事件触发浏览器中的行为，比方说当用户点击某个 HTML 元素时启动一段 JavaScript。 在现代浏览器中都内置有大量的事件处理器。这些处理器会监视特定的条件或用户行为，例如鼠标单击或浏览器窗口中完成加载某个图像。
阅读全文
摘要：Oracle 关键字(保留字) 大全 转 其实这个东西可以在oracle 上输入一个sql语句就可以得到： select * from v$reserved_words order by keyword asc; //order 后边不是必须的，那只是个排序，使结果不至于杂乱无章，如果用的是PL/S
阅读全文
