摘要:
将百兆大文件分割成几十M的小文件,按大小进行分割package com.fenge;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputSt... 阅读全文
摘要:
首先遍历文件夹下所有文件,然后再进行合并遍历文件def traverse_dir(file_path) if File.directory? file_path Dir.foreach(file_path) do |file| if file !="." and file !=".." traver... 阅读全文
摘要:
发起http请求后,检查返回的数据是否含有特征码,几百w的数据跑了一天后也没跑完,尝试了下ruby多线程,发现并不能提高运行速度,果断换JAVA来写,ruby代码贴下:#coding:gbkrequire 'rubygems'require "net/http"require "uri"requir... 阅读全文
摘要:
这几天接了一个项目,log日志大数据处理,需要从日志里提取URL,进行http请求,检查该URL是否含流量统计代码。这里做了文件遍历后,提取url写入到新的文件里,将三天的同名log日志合并为1个文件进行写入操作。#遍历文件def traverse_dir(file_path) if File.di... 阅读全文