Go實(shí)現(xiàn)文件分片上傳
更新時(shí)間：2022年07月25日 17:11:01 作者：duapple
這篇文章主要為大家詳細(xì)介紹了Go實(shí)現(xiàn)文件分片上傳，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
Go語言在寫HTTP服務(wù)程序時(shí)，會(huì)經(jīng)常用到文件上傳和文件下載，文件上傳和文件下載都可以用http包，默認(rèn)的功能基本上夠用了。http包支持文件下載的斷點(diǎn)續(xù)傳和進(jìn)度顯示，文件上傳貌似不支持?jǐn)帱c(diǎn)續(xù)傳，不知道是不是要web端來實(shí)現(xiàn)。
然后我自己配合web端實(shí)現(xiàn)了大文件分片上傳，來完成斷點(diǎn)續(xù)傳和進(jìn)度顯示的功能。
基本思想是，在web端將上傳的文件進(jìn)行分片處理，然后向服務(wù)端發(fā)送上傳請(qǐng)求（UploadRequest）包括文件名，MD5，文件大小，和文件總片數(shù)。
然后開始一片一片的上傳（Upload）。如果暫停了或者斷網(wǎng)失敗了，就記錄當(dāng)前上傳片的片數(shù)，下一次上傳，重發(fā)UploadRequest，chunkPos為續(xù)傳位置片數(shù)，然后從這個(gè)記錄的片數(shù)開始接著上傳（Upload）。在服務(wù)端，記錄首次請(qǐng)求的文件名，MD5，文件大小，文件總片數(shù)，然后開始接收每一片，將每一個(gè)片保存為一個(gè)單獨(dú)的文件，在接收完最后一個(gè)片時(shí)，將所有的分片份文件進(jìn)行合并。保存為對(duì)應(yīng)的文件名。最后再校驗(yàn)MD5碼。
對(duì)于不同用戶的請(qǐng)求，將文件上傳的信息存儲(chǔ)到session中，當(dāng)前文件上傳暫停后，上傳其它文件時(shí)，向session增加新文件的信息。暫停后，接著上傳最開始的文件，則直接從session中取得該文件的信息，包括文件名，上傳到某一個(gè)片的信息等。
服務(wù)端實(shí)現(xiàn)代碼：
func UploadRequest(w http.ResponseWriter, r *http.Request) {
?? ?log.WithFields(log.Fields{
?? ??? ?"HTTP": r.Method,
?? ??? ?"FUNC": "UploadRequest",
?? ?}).Info("HTTP REQUEST")
?? ?header := w.Header()
?? ?header.Add("Content-Type", "application/json")
?? ?/* session authentication */
?? ?sess := session.GlobalSessions.SessionCheck(w, r)
?? ?if sess == nil {
?? ??? ?log.Error("sess check error")
?? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "session check error")
?? ??? ?return
?? ?}
?? ?defer r.Body.Close()
?? ?con, _ := ioutil.ReadAll(r.Body) //獲取post的body數(shù)據(jù)
?? ?log.Info("UploadRequest json: ", string(con))
?? ?var uploadReq uploadRequest
?? ?err := json.Unmarshal([]byte(con), &uploadReq) /* 解析json字符串?dāng)?shù)據(jù)到結(jié)構(gòu)體中 */
?? ?if err != nil {
?? ??? ?log.Error("json unmarshal error")
?? ??? ?fmt.Fprintf(w, config.FmtStr, "2000", "error", "json unmarshal error")
?? ??? ?return
?? ?}
?? ?switch uploadReq.Option {
?? ?case "reUploadFile":
?? ??? ?{
?? ??? ??? ?sess.Set("currentFile", uploadReq)
?? ??? ??? ?err := os.Remove("./tmp/" + uploadReq.FileName + "/" + uploadReq.FileName + "_" + uploadReq.ChunkPos)
?? ??? ??? ?if err != nil {
?? ??? ??? ??? ?log.Error(err)
?? ??? ??? ?}
?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "1000", "success", "reupload request success")
?? ??? ?}
?? ?case "uploadFile":
?? ??? ?{
?? ??? ??? ?err = os.Mkdir("./tmp/"+uploadReq.FileName, 0777)
?? ??? ??? ?if err != nil {
?? ??? ??? ??? ?log.Info(err)
?? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "mkdir error")
?? ??? ??? ?} else {
?? ??? ??? ??? ?log.Infof("create dir %s ok\r\n", uploadReq.FileName)
?? ??? ??? ?}
?? ??? ??? ?// 文件上傳信息保存，保存到session中，用于分片續(xù)傳時(shí)使用
?? ??? ??? ?sess.Set(uploadReq.FileName, uploadReq)
?? ??? ??? ?sess.Set("currentFile", uploadReq)
?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload request success")
?? ??? ?}
?? ?case "uploadCancel":
?? ??? ?{
?? ??? ??? ?err = os.RemoveAll("./tmp/" + uploadReq.FileName)
?? ??? ??? ?if err != nil {
?? ??? ??? ??? ?log.Fatal(err)
?? ??? ??? ?}
?? ??? ??? ?sess.Delete(uploadReq.FileName)
?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload file success")
?? ??? ??? ?return
?? ??? ?}
?? ?default:
?? ??? ?{
?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "2000", "error", "upload request option error")
?? ??? ?}
?? ?}
}
/* 分片上傳功能實(shí)現(xiàn) */
func Upload(w http.ResponseWriter, r *http.Request) {
?? ?log.WithFields(log.Fields{
?? ??? ?"HTTP": r.Method,
?? ??? ?"FUNC": "Upload",
?? ?}).Info("HTTP REQUEST")
?? ?header := w.Header()
?? ?header.Add("Content-Type", "application/json")
?? ?/* session authentication */
?? ?sess := globalSessions.SessionCheck(w, r) //session 檢查的接口封裝
?? ?if sess == nil {
?? ??? ?log.Error("session check failed")
?? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "session check failed")
?? ??? ?return
?? ?}
?? ?current_dir := sess.Get("current_dir")
?? ?log.Info("current dir: ", current_dir)
?? ?up_dir := sess.Get("up_dir")
?? ?log.Info("up_dir: ", up_dir)
?? ?// var current_dir string = "./river/test"
?? ?/* 表單上傳文件 */
?? ?if r.Method == "GET" {
?? ??? ?crutime := time.Now().Unix()
?? ??? ?h := md5.New()
?? ??? ?io.WriteString(h, strconv.FormatInt(crutime, 10))
?? ??? ?token := fmt.Sprintf("%x", h.Sum(nil))
?? ??? ?t, _ := template.ParseFiles("upload.gtpl")
?? ??? ?t.Execute(w, token)
?? ?} else {
?? ??? ?r.ParseMultipartForm(32 << 20)
?? ??? ?file, _, err := r.FormFile("uploadfile")
?? ??? ?if err != nil {
?? ??? ??? ?log.Error(err)
?? ??? ??? ?return
?? ??? ?}
?? ??? ?defer file.Close()
?? ??? ?var uploadFileInfo uploadRequest
?? ??? ?uploadFileInfo = sess.Get("currentFile").(uploadRequest)
?? ??? ?// fmt.Fprintf(w, "%v", sess.Get("fileName"))
?? ??? ?var fileName string = uploadFileInfo.FileName + "_" + uploadFileInfo.ChunkPos
?? ??? ?/* 判斷上傳的文件是否已經(jīng)存在，可能發(fā)生同名的情況 */
?? ??? ?log.Debug("fileName: ", fileName)
?? ??? ?_, err = os.Stat("./tmp/" + uploadFileInfo.FileName + "/" + fileName)
?? ??? ?var f *os.File
?? ??? ?if err == nil {
?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "file is exsited")
?? ??? ??? ?return
?? ??? ?} else {
?? ??? ??? ?f, err = os.OpenFile("./tmp/"+uploadFileInfo.FileName+"/"+fileName, os.O_WRONLY|os.O_CREATE, 0666) // 此處假設(shè)當(dāng)前目錄下已存在test目錄
?? ??? ?}
?? ??? ?defer f.Close()
?? ??? ?if err != nil {
?? ??? ??? ?log.Error(err)
?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "create file error")
?? ??? ??? ?return
?? ??? ?}
?? ??? ?io.Copy(f, file) //這里進(jìn)行大文件copy會(huì)導(dǎo)致內(nèi)存占用過大。一段時(shí)候后會(huì)進(jìn)行GC回收
?? ??? ?log.Info("copy ok")
?? ??? ?// 判斷是否單個(gè)文件是否上傳完畢，上傳完畢則合并文件到目標(biāo)文件夾
?? ??? ?if uploadFileInfo.ChunkPos == uploadFileInfo.ChunkNum {
?? ??? ??? ?f.Close()
?? ??? ??? ?_, err = os.Stat(current_dir.(string) + uploadFileInfo.FileName)
?? ??? ??? ?var fii *os.File
?? ??? ??? ?if err == nil {
?? ??? ??? ??? ?// 如果已經(jīng)存在這個(gè)文件了，則在當(dāng)前文件名后增加日期
?? ??? ??? ??? ?time := time.Now().Format("2006-01-02_15-04-05")
?? ??? ??? ??? ?log.Debug("Time: ", time)
?? ??? ??? ??? ?var fileName []byte = []byte(current_dir.(string) + uploadFileInfo.FileName)
?? ??? ??? ??? ?var fileNameFinal []byte = fileName
?? ??? ??? ??? ?log.Debug("file_name: ", string(fileName))
?? ??? ??? ??? ?var preFileName []byte
?? ??? ??? ??? ?var sufFileName []byte
?? ??? ??? ??? ?for i := len(fileName) - 1; i > 0; i-- {
?? ??? ??? ??? ??? ?if fileName[i] == '.' {
?? ??? ??? ??? ??? ??? ?preFileName = fileName[:i] // 文件名前綴 test
?? ??? ??? ??? ??? ??? ?sufFileName = fileName[i:] // 文件名后綴 .txt
?? ??? ??? ??? ??? ??? ?fileNameFinal = []byte(string(preFileName) + "_" + time + string(sufFileName))
?? ??? ??? ??? ??? ??? ?log.Info("fileNameFile: ", fileNameFinal)
?? ??? ??? ??? ??? ??? ?break
?? ??? ??? ??? ??? ?}
?? ??? ??? ??? ?}
?? ??? ??? ??? ?fii, err = os.OpenFile(string(fileNameFinal), os.O_WRONLY|os.O_CREATE, 0777) // 此處假設(shè)當(dāng)前目錄下已存在test目錄
?? ??? ??? ?} else {
?? ??? ??? ??? ?fii, err = os.OpenFile(current_dir.(string)+uploadFileInfo.FileName, os.O_CREATE|os.O_WRONLY|os.O_APPEND, os.ModePerm)
?? ??? ??? ?}
?? ??? ??? ?defer fii.Close()
?? ??? ??? ?if err != nil {
?? ??? ??? ??? ?log.Error(err)
?? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "Open object file error")
?? ??? ??? ??? ?return
?? ??? ??? ?}
?? ??? ??? ?index, _ := strconv.Atoi(uploadFileInfo.ChunkNum)
?? ??? ??? ?for i := 1; i <= index; i++ {
?? ??? ??? ??? ?f11, err := os.OpenFile("./tmp/"+uploadFileInfo.FileName+"/"+uploadFileInfo.FileName+"_"+strconv.Itoa(int(i)), os.O_RDONLY, os.ModePerm)
?? ??? ??? ??? ?if err != nil {
?? ??? ??? ??? ??? ?log.Error(err)
?? ??? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "Open slice file error")
?? ??? ??? ??? ??? ?return
?? ??? ??? ??? ?}
?? ??? ??? ??? ?b, err := ioutil.ReadAll(f11)
?? ??? ??? ??? ?if err != nil {
?? ??? ??? ??? ??? ?log.Error(err)
?? ??? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "ioutil readall error")
?? ??? ??? ??? ??? ?return
?? ??? ??? ??? ?}
?? ??? ??? ??? ?fii.Write(b)
?? ??? ??? ??? ?f11.Close()
?? ??? ??? ?}
?? ??? ??? ?err = os.RemoveAll("./tmp/" + uploadFileInfo.FileName)
?? ??? ??? ?if err != nil {
?? ??? ??? ??? ?log.Error(err)
?? ??? ??? ?}
?? ??? ??? ?sess.Delete(uploadFileInfo.FileName)
?? ??? ??? ?fii.Close()
?? ??? ??? ?if uploadFileInfo.MD5 == FileMD5(fii.Name()) {
?? ??? ??? ??? ?err := os.Remove(current_dir.(string) + fii.Name())
?? ??? ??? ??? ?if err != nil {
?? ??? ??? ??? ??? ?log.Error(err)
?? ??? ??? ??? ?}
?? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "upload file md5 error")
?? ??? ??? ?} else {
?? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload one file all slice success")
?? ??? ??? ?}
?? ??? ??? ?return
?? ??? ?}
?? ??? ?chunkPos, err := strconv.Atoi(uploadFileInfo.ChunkPos)
?? ??? ?if err != nil {
?? ??? ??? ?log.Error(err)
?? ??? ?}
?? ??? ?uploadFileInfo.ChunkPos = strconv.Itoa(chunkPos + 1)
?? ??? ?sess.Set(uploadFileInfo.FileName, uploadFileInfo)
?? ??? ?sess.Set("currentFile", uploadFileInfo)
?? ??? ?fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload file success")
?? ?}
}
func FileMD5(file string) string {
?? ?f, err := os.Open(file)
?? ?defer f.Close()
?? ?if err != nil {
?? ??? ?log.Info(err)
?? ??? ?return ""
?? ?}?? ?buffer, _ := ioutil.ReadAll(f)
?? ?data := buffer
?? ?has := md5.Sum(data)
?? ?md5str := fmt.Sprintf("%x", has)
?? ?return md5str
}以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Golang中的接口相關(guān)編寫方法,是Go語言入門學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-11-11
這篇文章主要介紹了go格式“占位符”, 輸入輸出,類似python的input,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2019-04-04
Go語言中reflect包提供了運(yùn)行時(shí)反射的功能,本文主要介紹了Go語言的反射reflect使用,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-08-08
Go語言操作MySql數(shù)據(jù)庫的詳細(xì)指南
數(shù)據(jù)的持久化是程序中必不可少的,所以編程語言中對(duì)數(shù)據(jù)庫的操作是非常重要的一塊,這篇文章主要給大家介紹了關(guān)于Go語言操作MySql數(shù)據(jù)庫的相關(guān)資料,需要的朋友可以參考下2023-10-10
Go語言在Go.1.11版本發(fā)布了Go?Modules，這是一種新的Go項(xiàng)目依賴管理解決方案，可以讓Go項(xiàng)目的依賴包關(guān)系更加清晰，也更容易管理，下面就來看看Modules是如何使用的吧2023-07-07
這篇文章主要想來和大家討論一下,GO?語言處理并發(fā)的時(shí)候我們是選擇sync還是channel,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解下2023-08-08
Golang設(shè)計(jì)模式之外觀模式講解和代碼示例
外觀是一種結(jié)構(gòu)型設(shè)計(jì)模式， 能為復(fù)雜系統(tǒng)、 程序庫或框架提供一個(gè)簡(jiǎn)單 （但有限） 的接口，這篇文章就給大家詳細(xì)介紹一下Golang的外觀模式，文中有詳細(xì)的代碼示例，具有一定的參考價(jià)值,需要的朋友可以參考下2023-06-06
這篇文章主要介紹了Go語言中os庫的常用函數(shù)用法,os函數(shù)的使用是Go語言入門學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-10-10
利用golang實(shí)現(xiàn)pdf中自動(dòng)換行的表格
這篇文章主要給大家介紹了如何利用golang實(shí)現(xiàn)pdf中自動(dòng)換行的表格,文中通過代碼示例給大家講解的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2024-02-02
使用Go語言實(shí)現(xiàn)遠(yuǎn)程傳輸文件
本文主要介紹如何利用Go語言實(shí)現(xiàn)遠(yuǎn)程傳輸文件的功能，有需要的小伙伴們可以參考學(xué)習(xí)。下面跟著小編一起來學(xué)習(xí)學(xué)習(xí)。2016-08-08