摘要： 一、前言 前一段时间，小小的写了一个爬虫，是关于电商网站的。今天，把它分享出来，供大家参考，如有不足之处，请见谅！（抱拳） 二、准备工作 我们实现的这个爬虫是Java编写的。所用到的框架或者技术如下： Redis：分布式的Key-Value数据库，用来作存储临时的页面URL的仓库。 HttpClie 阅读全文

摘要： 一、access deny GRANT ALL PRIVILEGES ON *.* TO '用户名'@'IP地址' IDENTIFIED BY '密码' with grant option; 阅读全文

摘要： 环境需求： 系统：window 10 eclipse版本：Mars Hadoop版本：2.6.0 资源需求：解压后的Hadoop-2.6.0，原压缩包自行下载：下载地址 丑话前头说： 以下的操作中，eclipse的启动均需要右键“管理员运行”！ 在创建MapReduce的Project那块需要配置l 阅读全文

摘要： 环境要求：系统不重要，重要的是要有Ant环境，这里不做赘述，自行百度配置去。 1）在github上下载Hadoop-eclipse-plugin-master的zip包，下载地址。 2）在Hadoop官网下载Hadoop2.6.0，下载地址。 3）解压上述俩压缩包。 4）在hadoop2x-ecli 阅读全文

摘要： 环境要求：三台装有Centos6.4的虚拟机，需要有java1.7以上的环境，需要ZooKeeper环境。 1）从Kafka官网下载Kafka安装包 下载Kafka 2）解压安装包 3）由于名字太长，改为kafka： 4）进入kafka下面的config目录，修改配置文件server.propert 阅读全文

摘要： junit junit 3.8.1 test org.apache.hadoop hadoop-common 2.6.0 ... 阅读全文

摘要： 一、Hadoop的hdfs dfs命令 二、Hadoop的hdfs dfsadmin命令 1）文件/文件夹/空间大小限制命令 hdfs dfsadmin -setQuota 10 lisi 限制lisi目录只能有10个文件或者文件夹 hdfs dfsadmin -clrQuota lisi 清除li 阅读全文

摘要： 首先给一个小tips，在搭建zookeeper之前，需要配置好java环境，请参看我的另一篇文章《Jdk1.8在CentOS7中的安装与配置》，还需要免密码登录，请参看我的另一篇文章《Hadoop2.6.0在CentOS 7中的集群搭建》。 集群配置信息： server.0——192.168.10. 阅读全文

摘要： org.apache.maven.plugins maven-compiler-plugin 2.3.2 UTF-8 ... 阅读全文

摘要： 1、Clearing pending acquires. While trying to acquire a needed new resource, we failed to succeed more than the maximum number of allowed acquisition a 阅读全文