要求: 实时监控一个目录,如果目录里有新增文件就启动一个复制文件线程进行文件复制,把文件复制到另一个目录里。 实时监控程序: package cn.ba.watchFile.downLoadFile.finalcode; /** * 监控文件夹 * 经测试基本不可用,在一个40g的很深的目录下去新建 Read More
需求:多个线程复制一个文件(ZIP文件)到另一个文件里。 package cn.ba.watchFile.downLoadFile.downDemo.singleFile; import java.io.File; import java.util.Date; /** * 复制文件 * n个线程 * Read More
多线程复制一个文件夹下的所有文件到另一个目录下: package cn.ba.watchFile.downLoadFile; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundExcepti Read More
1.免密码登陆脚本 sshFreeLogin.sh 集群服务器间相互访问: 首先有一个ip列表: ip.list: 192.168.2.240 192.168.2.241 192.168.2.242 sshFreeLogin.sh: #!/bin/bash #author: chongyuanHua Read More
大文件上传ftp,不知道有没有上传完成,如果没有上传完成另一个程序去下载这个文件,导致下载不完整。 判断一个文件是否上传完成的方法: /** * 间隔一段时间去计算文件的长度来判断文件是否写入完成 * @param fileName * @return * @throws Exception */ Read More
一、Region 概念 Region是表获取和分布的基本元素,由每个列族的一个Store组成。对象层级图如下: Table (HBase table) Region (Regions for the table) Store (Store per ColumnFamily for each Regi Read More
功能:把hdfs上的数据写入到hbase表。 hadoop的mapreduce输出要导入到hbase表,最好先输出HFile格式,再导入hbase,因为HFile是hbase的内部存储格式,所以导入效率很高,下面我们来看一下具体怎么做。 1、我们在hdfs上有一个文本文件: 2、在hbase表里我们 Read More
我写的是maven项目,pom文件为: 1 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt Read More
目标:sparkStreaming每2s中读取一次kafka中的数据,进行单词计数。 topic:topic1 broker list:192.168.1.126:9092,192.168.1.127:9092,192.168.1.128:9092 1、首先往一个topic中实时生产数据。 代码如下 Read More
1、vim putdata.sh 脚本功能: 每小时的第15分钟把上一小时的数据put到hdfs相应目录 为了避免大量的小文件,我们把文件夹下的文件cat到一个临时文件里,put成功后删除这个临时文件 #! /bin/bash#当前时间nowtime=`date +%Y%m%d%H%M%S`echo Read More