具有重復(fù)數(shù)據(jù)刪除的云災(zāi)備系統(tǒng)
成果概況
| 成果類(lèi)別: | 應(yīng)用技術(shù) | 體現(xiàn)形式: | 新產(chǎn)品 | 課題來(lái)源: | 地方計(jì)劃 |
| 起止時(shí)間: | 2014.06 至2015.05 | 研究形式: | 獨(dú)立研究 | 所處階段: | 初期階段 |
| 成果屬性: | 原始性創(chuàng)新 |
成果簡(jiǎn)介
1.課題來(lái)源與背景
針對(duì)目前在分布式存儲(chǔ)的現(xiàn)狀,本項(xiàng)目研發(fā)的系統(tǒng)采用基于無(wú)中心分布系統(tǒng)的全局重復(fù)數(shù)據(jù)刪除方法,解決了數(shù)據(jù)在分布式云存儲(chǔ)環(huán)境下的全局去重難題,使得百分之九十的重復(fù)數(shù)據(jù)得以刪除,并且元數(shù)據(jù)和數(shù)據(jù)塊可以共同分散存儲(chǔ),從而節(jié)約大量的存儲(chǔ)成本,并且支持混合云架構(gòu),可以實(shí)現(xiàn)無(wú)限擴(kuò)展。解決在去“IOE”政策下,國(guó)產(chǎn)數(shù)據(jù)災(zāi)備的問(wèn)題。目前本云災(zāi)備軟件已與廣州超算中心相結(jié)合,解決了各個(gè)政府單位將應(yīng)用遷移以及備份廣州超算中心的難題。
2. 技術(shù)原理及性能指標(biāo)
1)技術(shù)原理
基于分布式環(huán)境下的全局重復(fù)數(shù)據(jù)刪除是業(yè)界公認(rèn)的難題,此中要解決著名的拜占庭錯(cuò)誤(Byzantine Error),針對(duì)此難本公司提供出來(lái) “一種基于無(wú)中心分布系統(tǒng)的全局重復(fù)數(shù)據(jù)刪除系統(tǒng)及方法”(專(zhuān)利號(hào):201210232607,由廣州鼎鼎信息科技有限公司發(fā)明)。
分布式系統(tǒng)下的全局重復(fù)數(shù)據(jù)刪除方法,是一種真正跨文件、跨客戶(hù)端、跨存儲(chǔ)節(jié)點(diǎn)的全局重復(fù)數(shù)據(jù)刪除方法,該方法旨在全存儲(chǔ)網(wǎng)絡(luò)范圍內(nèi)查找一個(gè)給定的數(shù)據(jù)塊,并使其全局范圍內(nèi)保留的數(shù)據(jù)副本數(shù)為R,(R可以被設(shè)定為1、2或3)。
全局重復(fù)數(shù)據(jù)刪除的算法可簡(jiǎn)單表述為:
1.采用變長(zhǎng)數(shù)據(jù)分塊算法,得到一個(gè)數(shù)據(jù)塊chunk
2.用SHA-1算法,生成數(shù)據(jù)塊的摘要,即 sha1(chunk) à key
3.向分布式存儲(chǔ)網(wǎng)絡(luò)發(fā)起 REF(key, i)操作,(i = R, R = 1, 2, 3…)
4.根據(jù)REF操作返回的結(jié)果i,如果i = R,則說(shuō)明此數(shù)據(jù)塊在全局范圍內(nèi)被成功引用,此時(shí)不必再向存儲(chǔ)網(wǎng)絡(luò)發(fā)起PUT寫(xiě)入操作,重復(fù)數(shù)據(jù)刪除成功。
5.根據(jù)REF操作返回的結(jié)果i,如果i < R,說(shuō)明引用在全局范圍內(nèi)失敗,還缺少R-i個(gè)數(shù)據(jù)副本。正常網(wǎng)絡(luò)情況下,i的值基本只有兩種:0和R。此時(shí)操作發(fā)起方再調(diào)用PUT操作向分布式存儲(chǔ)網(wǎng)絡(luò)寫(xiě)入數(shù)據(jù)塊:PUT(key, R - i), 檢測(cè)并寫(xiě)入新的數(shù)據(jù)塊操作完成。
以下圖示展示了R=3時(shí)的全局重復(fù)數(shù)據(jù)刪除過(guò)程:
2)性能指標(biāo)
1.實(shí)現(xiàn)基于C/S 的集中管理云災(zāi)備系統(tǒng)
2.實(shí)現(xiàn)從PC環(huán)境到Windows、Linux平臺(tái)的文件、操作系統(tǒng)、數(shù)據(jù)庫(kù)、應(yīng)用系統(tǒng)備份/恢復(fù)功能
3.實(shí)現(xiàn)本地與異地備份節(jié)點(diǎn)的互備以及故障轉(zhuǎn)移的災(zāi)備功能
4.實(shí)現(xiàn)基于源端重復(fù)數(shù)據(jù)刪除備份技術(shù)及R.A.I.N.的云分布式存儲(chǔ)結(jié)構(gòu)
5.界面友好,性能穩(wěn)定,操作簡(jiǎn)單。
3. 技術(shù)的創(chuàng)造性與先進(jìn)性
1).本系統(tǒng)采用了基于無(wú)中心分布系統(tǒng)的全局重復(fù)數(shù)據(jù)刪除方法,解決了傳統(tǒng)重復(fù)刪除技術(shù)在重復(fù)數(shù)據(jù)刪除過(guò)程中會(huì)產(chǎn)生誤判,降低數(shù)據(jù)的重復(fù)刪除效果,導(dǎo)致較多重復(fù)數(shù)據(jù)被漏刪的技術(shù)問(wèn)題。
2).本系統(tǒng)采用了適用于云存儲(chǔ)系統(tǒng)的元數(shù)據(jù)分布式存儲(chǔ)方法,解決了傳統(tǒng)元數(shù)據(jù)存儲(chǔ)需要專(zhuān)門(mén)元數(shù)據(jù)服務(wù)器的問(wèn)題,通過(guò)該方法可以直接把元數(shù)據(jù)的存儲(chǔ)與塊數(shù)據(jù)存儲(chǔ)合并,不僅提高了元數(shù)據(jù)的安全性和可擴(kuò)展性,也避免了因元數(shù)據(jù)單點(diǎn)失效而導(dǎo)致整個(gè)存儲(chǔ)網(wǎng)絡(luò)不能使用的問(wèn)題。
3).本系統(tǒng)采用了混合云架構(gòu)(客戶(hù)機(jī)-->本地私有云-->公有云/異地私有云),可實(shí)現(xiàn)存儲(chǔ)空間的無(wú)限擴(kuò)展,打破了傳統(tǒng)的公私混合云的的局限性。
4. 技術(shù)的成熟程度,適用范圍和安全性
本公司開(kāi)發(fā)的MeshVault云存儲(chǔ)管理軟件在行業(yè)市場(chǎng)上已經(jīng)得到了許多單位的認(rèn)可,主要用戶(hù)有金發(fā)科技股份有限公司,廣州周立功單片機(jī)科技有限公司,廣東省體育局,廣州市工商局,廣州市地稅局,廣州蘿崗信息辦,肇慶藍(lán)帶啤酒有限公司,北京互聯(lián)通網(wǎng)絡(luò)科技有限公司廣州分公司等。
5. 應(yīng)用情況及存在的問(wèn)題
用戶(hù)普遍反映該產(chǎn)品重復(fù)數(shù)據(jù)刪除效果非常顯著,可跨平臺(tái)運(yùn)行在Windows/Linux等系統(tǒng)上,其內(nèi)置的異地備份功能能夠?qū)崿F(xiàn)在窄帶寬下異地?cái)?shù)據(jù)傳輸,使得異地備份成為可能,而且能實(shí)現(xiàn)對(duì)公司所有重要數(shù)據(jù)進(jìn)行集中式備份管理,公司還需不斷完善軟件UI界面以及操作界面使軟件更加完善。
6. 歷年獲獎(jiǎng)情況
無(wú)
應(yīng)用前景
| 主要應(yīng)用行業(yè): | 信息傳輸、軟件和信息技術(shù)服務(wù)業(yè) | 知識(shí)產(chǎn)權(quán)形式: | 專(zhuān)利 |
| 應(yīng)用狀態(tài): | 產(chǎn)業(yè)化應(yīng)用 | 擬轉(zhuǎn)化方式: | 其他 |
單位概況
| 完成單位: | 廣州鼎鼎信息科技有限公司 | ||||
| 單位地址: | 廣東省廣州市高新技術(shù)產(chǎn)業(yè)開(kāi)發(fā)區(qū)光譜西路3號(hào)研發(fā)樓D303 | ||||
| 單位電話: | 020-82185902 |
聯(lián)系方式
| 聯(lián)系人: | 魏孫鼎 | 聯(lián)系人電話: | 020-82185901 | 聯(lián)系人Email: | swei@dingding.me |
微信公眾號(hào)
服務(wù)熱線
