2015年8月12日
《将博客搬至CSDN》
摘要： 《将博客搬至CSDN》 阅读全文
posted @ 2015-08-12 16:46 雨蝶 阅读(94) 评论(0) 推荐(0) 编辑
2015年3月5日
日志解析(四) 大文件分割
摘要： 将百兆大文件分割成几十M的小文件，按大小进行分割package com.fenge;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputSt... 阅读全文
posted @ 2015-03-05 17:57 雨蝶 阅读(269) 评论(0) 推荐(0) 编辑
日志解析(三) 文件合并
摘要： 首先遍历文件夹下所有文件，然后再进行合并遍历文件def traverse_dir(file_path) if File.directory? file_path Dir.foreach(file_path) do |file| if file !="." and file !=".." traver... 阅读全文
posted @ 2015-03-05 17:53 雨蝶 阅读(224) 评论(0) 推荐(0) 编辑
日志解析(二) 多线程http请求
摘要： 发起http请求后，检查返回的数据是否含有特征码，几百w的数据跑了一天后也没跑完，尝试了下ruby多线程，发现并不能提高运行速度，果断换JAVA来写，ruby代码贴下：#coding:gbkrequire 'rubygems'require "net/http"require "uri"requir... 阅读全文
posted @ 2015-03-05 17:46 雨蝶 阅读(351) 评论(0) 推荐(0) 编辑
日志解析(一) 大文件遍历
摘要： 这几天接了一个项目，log日志大数据处理，需要从日志里提取URL，进行http请求，检查该URL是否含流量统计代码。这里做了文件遍历后，提取url写入到新的文件里，将三天的同名log日志合并为1个文件进行写入操作。#遍历文件def traverse_dir(file_path) if File.di... 阅读全文
posted @ 2015-03-05 17:39 雨蝶 阅读(272) 评论(0) 推荐(0) 编辑