要求： 实时监控一个目录，如果目录里有新增文件就启动一个复制文件线程进行文件复制，把文件复制到另一个目录里。 实时监控程序： package cn.ba.watchFile.downLoadFile.finalcode; /** * 监控文件夹 * 经测试基本不可用，在一个40g的很深的目录下去新建 Read More
需求：多个线程复制一个文件（ZIP文件）到另一个文件里。 package cn.ba.watchFile.downLoadFile.downDemo.singleFile; import java.io.File; import java.util.Date; /** * 复制文件 * n个线程 * Read More
多线程复制一个文件夹下的所有文件到另一个目录下： package cn.ba.watchFile.downLoadFile; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundExcepti Read More
1.免密码登陆脚本 sshFreeLogin.sh 集群服务器间相互访问： 首先有一个ip列表： ip.list: 192.168.2.240 192.168.2.241 192.168.2.242 sshFreeLogin.sh: #!/bin/bash #author: chongyuanHua Read More
大文件上传ftp,不知道有没有上传完成，如果没有上传完成另一个程序去下载这个文件，导致下载不完整。 判断一个文件是否上传完成的方法： /** * 间隔一段时间去计算文件的长度来判断文件是否写入完成 * @param fileName * @return * @throws Exception */ Read More
一、Region 概念 Region是表获取和分布的基本元素，由每个列族的一个Store组成。对象层级图如下： Table (HBase table) Region (Regions for the table) Store (Store per ColumnFamily for each Regi Read More
功能：把hdfs上的数据写入到hbase表。 hadoop的mapreduce输出要导入到hbase表，最好先输出HFile格式，再导入hbase,因为HFile是hbase的内部存储格式，所以导入效率很高，下面我们来看一下具体怎么做。 1、我们在hdfs上有一个文本文件： 2、在hbase表里我们 Read More
我写的是maven项目，pom文件为： 1 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt Read More
目标：sparkStreaming每2s中读取一次kafka中的数据，进行单词计数。 topic:topic1 broker list:192.168.1.126:9092,192.168.1.127:9092,192.168.1.128:9092 1、首先往一个topic中实时生产数据。 代码如下 Read More
1、vim putdata.sh 脚本功能： 每小时的第15分钟把上一小时的数据put到hdfs相应目录 为了避免大量的小文件，我们把文件夹下的文件cat到一个临时文件里，put成功后删除这个临时文件 #! /bin/bash#当前时间nowtime=`date +%Y%m%d%H%M%S`echo Read More