摘要: 截止到目前为止,虽然并不完美,但是JDFS已经初步具备了完整的分布式文件管理功能了,包括:文件的冗余存储、文件元信息的查询、文件的下载、文件的删除等。本文将对JDFS做一个总体的介绍,主要是介绍JDFS的整体架构,流程图等. 阅读全文
posted @ 2017-10-07 19:25 cs小学生 阅读(2454) 评论(1) 推荐(0) 编辑
摘要: 时间过得真快,距离本系列博客第一篇的发布已经过去9个月了,本文是该系列的第四篇博客,将对JDownload做一个整体的描述与介绍 阅读全文
posted @ 2017-10-13 22:12 cs小学生 阅读(2320) 评论(0) 推荐(0) 编辑
摘要: 上一篇博客主要介绍了客户端如何把本地文件分片后流式、冗余地存储到虚拟集群里的结点里,本篇将会接着上一篇博客介绍如下几个话题:客户端向name node查询文件的元信息,并且显示在终端界面上;客户端查询完文件元信息后,向不同的data node请求下载原始文件的不同分片到本地,并且在本地合并所有分片,恢复原始文件的面貌;客户端向name node请求删除虚拟集群里面的某个文件。 阅读全文
posted @ 2017-09-27 21:51 cs小学生 阅读(1135) 评论(0) 推荐(1) 编辑
摘要: 本篇博客将在前两篇的基础上增加一系列分布式的功能,比如流式云存储,就是客户端把本地的文件切分成若干片后,以冗余的方式存储到分布式数据结点上 阅读全文
posted @ 2017-09-25 22:59 cs小学生 阅读(1457) 评论(6) 推荐(0) 编辑
摘要: 根据上一篇博客我们知道,JDFS的服务端主程序在epoll里面先recv客户端的数据,然后解析头部,根据请求类型,把作业交给线程池来执行。对于查询、下载部分的功能这是没有问题的,因为查询、下载部分客服端只是发送一个头部过来,服务端接收后解析的过程不会太占用多少时间。而如果是上传功能的话,服务端recv到的数据不仅包含头部而且包含客服端期望上传的文件实体的数据,而笔者的本意是让线程池来接收数据的,所以这个代码的实现与笔者的期望是矛盾的。本文首先就会对这一点进行更新改进,使得查询、上传、下载都可以并行的被线程池来执行。 阅读全文
posted @ 2017-05-28 22:51 cs小学生 阅读(1159) 评论(0) 推荐(0) 编辑
摘要: 截止目前,笔者在博客园上面已经发表了3篇关于网络下载的文章,这三篇博客实现了基于socket的http多线程远程断点下载实用程序。笔者打算在此基础上开发出一款分布式文件管理实用程序,截止目前,已经实现了 服务端/客户端 的上传、下载部分的功能逻辑。涉及到的知识点包括线程池技术、linux epoll并发技术、上传、下载等。JDFS的下载功能的逻辑部分与笔者前几篇关于JWebFileTrans(JDownload)比较类似。如果读者对socket网络下载不熟悉或者是只对下载功能感兴趣,请移步笔者的另外三篇博客,本文对下载功能不会详细描述,将主要集中于线程池、epoll和上传。 阅读全文
posted @ 2017-05-19 23:46 cs小学生 阅读(2275) 评论(0) 推荐(0) 编辑
摘要: 本篇博客是《JWebFileTrans(JDownload):一款可以从网络上下载文件的小程序》系列博客的第三篇,本篇博客的内容主要是在前两篇的基础上增加多线程的功能。简言之,本篇博客截止目前所达到的功能是:基于HTTP协议的多线程断点远程下载小程序 阅读全文
posted @ 2017-05-14 13:10 cs小学生 阅读(1183) 评论(0) 推荐(1) 编辑
摘要: 本文是上一篇博客JWebFileTrans:一款可以从网络上下载文件的小程序(一)的续集。此篇博客主要在上一篇的基础上加入了断点续传的功能,用户在下载中途停止下载后,下次可以读取断点文件,接着上次已经下载的部分文件继续下载。另外将程序名从JWebFileTrans更改为JDownload,并从github的utility repository中独立出来专门维护,后续会添加多线程、ftp下载等功能。 阅读全文
posted @ 2017-05-01 11:15 cs小学生 阅读(1866) 评论(2) 推荐(2) 编辑
摘要: JWebFileTrans是一款基于socket的网络文件传输小程序,目前支持从HTTP站点下载文件,后续会增加ftp站点下载、断点续传、多线程下载等功能。 阅读全文
posted @ 2017-01-25 14:07 cs小学生 阅读(1844) 评论(0) 推荐(1) 编辑
摘要: 一款基于哈夫曼编码和最小堆的无损压缩、解压缩小程序,支持任何格式文件的压缩解压缩,代码已开源至github,具体地址请看正文前言部分 阅读全文
posted @ 2017-01-17 21:00 cs小学生 阅读(1621) 评论(1) 推荐(1) 编辑