go语言实现分布式对象存储系统之单体对象存储

 

对象存储

基本概念

主流存储类型分为三种：块存储、文件存储以及对象存储

• NAS（文件存储）：Network Attached storage,提供了存储功能和文件系统的网络服务器，客户端可以访问NAS上的文件系统，还可以上传和下载文件，使用协议：SMB、NFS以及AFS等网络文件系统协议，对于客户端来说就是网络上的文件服务器。
• SAN（块存储）：Storage Area Network,和NAS的区别就是SAN只提供了块存储，而把文件系统抽象给客户端来管理，使用协议：Fibre\Channel、iSCSI\ATA over Ethnet和HyperSCSI，对于客户端来说就是一块磁盘，可以对其格式化，创建文件系统并挂载。
• 对象存储：对象指的是面向对象，集合了块存储和文件存储的优点，拥有访问速度快、容量大等特性。并且容易搭配云计算，是一种新的网络存储架构。

对象存储系统(Object-Based Storage System)是综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。

为了更好的说明三者的差异，我打个比方，假设有三个人想从A地到B地，现在有三种交通方式。甲选择轿车、乙选择公共汽车、丙选择地铁。块存储类似于轿车，速度快，但是容量小（轿车只能乘坐几个人）；文件存储类似于公共汽车，速度慢（公共汽车有站点和红绿灯需要考虑），但是容量较大（能多坐不少人）；对象存储类似于地铁，速度快，容量大。

 

 

 

 

不同的数据管理方式

• NAS，数据是以一个个文件的形式管理的。
• SAN，数据是以数据块的形式管理的，每个数据块都有自己的地址，没有额外的背景信息。
• 对象存储，数据是以对象的方式管理，一个对象包括：数据、元数据、全局标识符。

对象的数据通常是无结构的数据，比如：图片、视频或文档等；对象的元数据则指的是对象的相关描述，比如：图片的大小、文档的拥有者等；对象id则是一个全局的唯一标识符，用来区分对象的。

 

不同的访问数据方式

• NAS，通过NFS等网络协议访问某个远程服务器上存储的文件
• SAN，通过数据块的地址访问SAN上的数据块
• 对象存储，通过REST网络服务访问对象

对象存储，访问对象的方式很方便，是通过REST接口对对象进行操作，用HTTP动词（GET、POST、PUT、DELETE等）描述操作。除此之外，还有一种访问方式，就是使用各大云商提供的客户端去操作对象。
比如：Amazon的s3cmd、阿里云的osscmd/ossutil、腾讯云的coscmd等。

　　

 

对象存储优缺点

先说优点，之前大概也提了下：

• 可扩展性高：对象存储能够扩展数十乃至数百EB的容量，能够充分利用高密度存储；
• 效率高：扁平化结构，不受复杂目录系统对性能的影响；
• 无需迁移：对象存储是一种横向扩展系统，随着容量的增加，数据根据算法自动分布于所有的对象存储节点；
• 安全性高：对象存储通常凭借HTTP调用对象存储本身提供的认证密钥来提供数据访问；访问方便：不光支持HTTP(S)协议，采用REST的API方式调用和检索数据，同样增加了NFS和SMB支持；成本相对低：与块存储方式相比，对象存储是最具成本效益的数据存储类型，并且与云计算搭配，把对象存储的这一特性发挥的淋漓尽致。

再提缺点：

• 最终一致性：由于不同节点的位置不同，数据同步时可能会有一定时间的延迟或者错误；
• 不易做数据库：对象存储比较适合存储那些变动不大甚至不变的文件，而对于像数据库这种需要直接与存储裸盘相互映射的应用，还是块存储更合适。

 

 

单体对象存储架构实现

单体对象存储架构

 

go语言实现

package main

import (
	"io"
	"net/http"
	"os"
	"log"
	"strings"
)

func main() {
	http.HandleFunc("/objects/",Handler)
	println("server...")
	log.Fatal(http.ListenAndServe("127.0.0.1:8006", nil))
}

func Handler(w http.ResponseWriter, r  *http.Request){
	println(r)
	m := r.Method
	if m == http.MethodPut{
		Put(w,r)
		return
	}
	if m == http.MethodGet{
		Get(w,r)
		return
	}
	w.WriteHeader(http.StatusMethodNotAllowed)

}

func Put(w http.ResponseWriter,r *http.Request){
	//C:\Users\Administrator\go\src\awesomeProject\test_file
	f,e := os.Create(("C:/Users/Administrator/go/src/awesomeProject/test_file"+"/objects/"+strings.Split(r.URL.EscapedPath(),"/")[2]))

	if e != nil {
		log.Println(e)
		w.WriteHeader(http.StatusInternalServerError)
		return
	}
	defer f.Close()
	io.Copy(f,r.Body)
}


func Get(w http.ResponseWriter,r *http.Request){

	f,e := os.Open(("C:/Users/Administrator/go/src/awesomeProject/test_file"+"/objects/"+strings.Split(r.URL.EscapedPath(),"/")[2]))

	if e != nil {
		log.Println(e)
		w.WriteHeader(http.StatusNotFound)
		return
	}
	defer f.Close()
	io.Copy(w,f)
}

　　

详解

main函数，注册一个HTTP处理函数并开始监听端口。

http.HandleFunc的作用是注册HTTP处理函数Handler，如果由客户端访问本机的HTTP服务且以“/objects/”开头，那么请求将由Handler负责处理。

http.ListenAndServer正式监听端口，正常情况下会一直监听，非正常情况下，log.Fatal会对于错误并退出程序。

http.HandleFunc("/objects/",Handler)
println("server...")
log.Fatal(http.ListenAndServe("127.0.0.1:8006", nil))

Handler函数，HTTP中最重要的请求和响应Response，Request为参数，根据客户端不同的请求方式，执行不同的处理函数：Put函数与Get函数。

func Handler(w http.ResponseWriter, r  *http.Request){
	println(r)
	m := r.Method
	if m == http.MethodPut{
		Put(w,r)
		return
	}
	if m == http.MethodGet{
		Get(w,r)
		return
	}
	w.WriteHeader(http.StatusMethodNotAllowed)

}

 

Put函数，r.URL变量记录HTTP请求的URL，EscapedPath方法用于获取结果转义以后的路径部分，该路径形式是：/objects/<object_name>，然后strings.Split函数功能是分割/objects/<object_name>，分割为"“、”objects"、<object_name>,去数组的第三个元素就是<object_name>，os.Create在本地文件系统的根存储目录创建同名文件f，创建成功将r.Body用io.Copy写入文件f。

func Put(w http.ResponseWriter,r *http.Request){
	//C:\Users\Administrator\go\src\awesomeProject\test_file
	f,e := os.Create(("C:/Users/Administrator/go/src/awesomeProject/test_file"+"/objects/"+strings.Split(r.URL.EscapedPath(),"/")[2]))

	if e != nil {
		log.Println(e)
		w.WriteHeader(http.StatusInternalServerError)
		return
	}
	defer f.Close()
	io.Copy(f,r.Body)
}

Get函数同Put函数类似。
此文为分布式对象存储-原理、架构及Go语言实现第一章总结