2019年1月3日
摘要：
项目结构 pom.xml文件 先建两个文件1.txt 2.txt 内容如下 1.txt 2.txt 在hdfs上创建文件夹 hadoop fs -mkdir -p /wordcount/input 把1.txt 2.txt放在/wordcount/input目录下 hadoop fs -put 1. 阅读全文
摘要：
项目结构 服务端代码 test-hadoop-rpc pom.xml 客户端代码 test-hadoop-rpc-client pom.xml 阅读全文
摘要：
1 需求 从外部购买数据，数据提供方会实时将数据推送到6台FTP服务器上，我方部署6台接口采集机来对接采集数据，并上传到HDFS中 提供商在FTP上生成数据的规则是以小时为单位建立文件夹(2016-03-11-10)，每分钟生成一个文件（00.dat,01.data,02.dat,........） 阅读全文
摘要：
点击流日志每天都10T，在业务应用服务器上，需要准实时上传至（Hadoop HDFS）上 1需求说明 点击流日志每天都10T，在业务应用服务器上，需要准实时上传至（Hadoop HDFS）上 2需求分析 一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输，为了减轻服务器的压力 阅读全文
摘要：
有两个海量日志文件存储在hdfs上， 其中登陆日志格式：user，ip，time，oper（枚举值：1为上线，2为下线）；访问之日格式为：ip，time，url，假设登陆日志中上下线信息完整，切同一上下线时间段内是用的ip唯一，计算访问日志中独立user数量最多的前10个url，用MapReduce 阅读全文
摘要：
package cn.itcast.bigdata.hdfs.diceng; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils; import org.junit.Before; import org.junit.Tes... 阅读全文
摘要：
dubbo由于是二进制的传输，占用带宽会更少springCloud是http协议传输，带宽会比较多，同时使用http协议一般会使用JSON报文，消耗会更大 dubbo的开发难度较大，原因是dubbo的jar包依赖问题很多大型工程无法解决 springcloud的接口协议约定比较自由且松散，需要有强有 阅读全文
摘要：
package cn.itcast.hdfs; import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.Before; import org.junit.Test; import jav... 阅读全文
摘要：
代码如下： 此时会报空指针异常 修改后代码如下： 注意，出现以上的问题是没有配环境变量造成的 window下开发的说明 建议在linux下进行hadoop应用的开发，不会存在兼容性问题。如在window上做客户端应用开发，需要设置以下环境： A、用老师给的windows平台下编译的hadoop安装包 阅读全文
摘要：
此时报错，权限不足： 修改后的代码（伪造一个root身份）： 或者是运行时加一个参数： VM-arguements： -DHADOOP——USER_NAME=root 阅读全文