未來不足1.5%的數(shù)據(jù)被存儲！IPFS存儲架構(gòu)應(yīng)用正在爆發(fā)

2021-04-19 17:26

文／李晉

西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼

“預(yù)計到2024年，以HDD為代表的大數(shù)據(jù)將增長到1．62ZB，平均年復(fù)合增長率約為30％；以SSD為衡量標(biāo)志的快數(shù)據(jù)將達到333EB，平均年復(fù)合增長率接近50％。但與當(dāng)年143ZB的數(shù)據(jù)總量相比，僅有不到1．5％的數(shù)據(jù)被存儲下來�！�

在近日的“2021深圳國際大數(shù)據(jù)與存儲峰會暨展覽會”上，西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼指出存儲領(lǐng)域正面臨的困境。在他看來，當(dāng)前的存儲架構(gòu)和技術(shù)并未跟上數(shù)據(jù)的爆發(fā)，而通過創(chuàng)新的存儲架構(gòu)可極大地緩解這種局面。

峰會現(xiàn)場西部數(shù)據(jù)展臺

大數(shù)據(jù)存儲困境：存儲架構(gòu)和技術(shù)未跟上數(shù)據(jù)發(fā)展

未來不足1.5%的數(shù)據(jù)被存儲！IPFS存儲架構(gòu)應(yīng)用正在爆發(fā)

“數(shù)據(jù)產(chǎn)生的速度過快”與“被存儲的數(shù)據(jù)十分有限”之間的矛盾，依舊是存儲產(chǎn)業(yè)需要正視的問題。劉鋼援引了兩組數(shù)據(jù)介紹說，預(yù)計到2024年，以HDD為代表的大數(shù)據(jù)將增長到1．62ZB，平均年復(fù)合增長率約為30％。除了把數(shù)據(jù)存儲下來之外，還有一部分是以SSD作為衡量標(biāo)志，并對數(shù)據(jù)進行挖掘、計算的快數(shù)據(jù)。2024年，快數(shù)據(jù)將達到333EB，平均年復(fù)合增長率接近50％。大數(shù)據(jù)與快數(shù)據(jù)的總量相加約2ZB，而當(dāng)年的數(shù)據(jù)總量將達到142ZB，這意味著僅有不到1．5％的數(shù)據(jù)會被存儲下來。

“在數(shù)字經(jīng)濟時代，數(shù)據(jù)猶如石油，是發(fā)展的源動力。為什么那么多寶貴的‘石油’或資源沒有被存儲、挖掘和分析？一個重要的原因是，存儲架構(gòu)和存儲技術(shù)沒有及時地跟上數(shù)據(jù)的發(fā)展，以至于很多數(shù)據(jù)被白白的浪費。因此，我們需要一個創(chuàng)新的存儲架構(gòu)，為更多的數(shù)據(jù)提供存儲及快速訪問。存儲行業(yè)正面臨幾個挑戰(zhàn)——用戶渴求大容量、快速訪問、低成本、低功耗的存儲，但很難有單一存儲介質(zhì)、存儲設(shè)備能同時滿足些需求�！眲摳锌f。

值得慶幸的是，由于用戶數(shù)據(jù)要進行分層，且這些數(shù)據(jù)有不同的類型，它對存儲的要求也不一致。企業(yè)可以通過把創(chuàng)新的存儲架構(gòu)作為系統(tǒng)，來滿足用戶各種存儲場景的需求。

IPFS存儲架構(gòu)有什么優(yōu)勢？

“創(chuàng)新的存儲架構(gòu)，包含分布式存儲架構(gòu)�！眲摻忉屨f，存儲架構(gòu)既有中心化的云存儲，也有去中心化的分布式存儲。例如，基于Web3．0、IPFS（Inter Planetary File System，星際文件系統(tǒng)）存儲架構(gòu)的存儲就是去中心化的分布式存儲，這類存儲可憑借新的存儲架構(gòu)來降低部署及運營成本。

在應(yīng)用方面，去中心化的IPFS可降低目前基于中心化的云存儲的成本。在云存儲的服務(wù)費用的成本構(gòu)成有什么特點？其實，最初云存儲領(lǐng)域有一個分布式去中心化存儲架構(gòu)叫做Storj，用戶可在網(wǎng)上購買相應(yīng)的服務(wù)。而IPFS存儲架構(gòu)的出現(xiàn)，進一步優(yōu)化了云存儲的去中心化，節(jié)省了企業(yè)的服務(wù)提供成本。

·分層存儲的概念

未來不足1.5%的數(shù)據(jù)被存儲！IPFS存儲架構(gòu)應(yīng)用正在爆發(fā)

除了IPFS存儲架構(gòu)之外，西部數(shù)據(jù)根據(jù)數(shù)據(jù)被訪問的頻率，大致分為了五類：極熱數(shù)據(jù)、熱數(shù)據(jù)、溫數(shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)。針對不同的數(shù)據(jù)，所要采用的存儲介質(zhì)和存儲設(shè)備也不同，這樣才能既保證海量大數(shù)據(jù)的存儲，也滿足對快數(shù)據(jù)的快速訪問。由于不同數(shù)據(jù)對時延和容量的要求也不同，西部數(shù)據(jù)還為不同的數(shù)據(jù)劃分了相應(yīng)的應(yīng)用場景。從訪問頻次的高到低，對應(yīng)的存儲類型可分為：極熱存儲、熱存儲、溫存儲、冷存儲和極冷存儲。

在這些分層的存儲應(yīng)用場景中，主要有大數(shù)據(jù)存儲應(yīng)用和快數(shù)據(jù)計算應(yīng)用兩大類。根據(jù)劉鋼的介紹，大數(shù)據(jù)存儲主要包括極冷存儲和冷存儲，快數(shù)據(jù)計算主要涉及極熱存儲、熱存儲和溫存儲。西部數(shù)據(jù)在這兩類存儲應(yīng)用中均有完整的產(chǎn)品及方案。

·西部數(shù)據(jù)18T硬盤在大數(shù)據(jù)存儲中的優(yōu)勢

未來不足1.5%的數(shù)據(jù)被存儲！IPFS存儲架構(gòu)應(yīng)用正在爆發(fā)

業(yè)內(nèi)針對冷存儲和極冷存儲的主流方案，是高密度大容量企業(yè)級硬盤方案。目前，高密度企業(yè)級硬盤已經(jīng)發(fā)展到了18T，甚至有的公司針對極冷存儲，利用軟件與技術(shù)優(yōu)化，采用了SMR疊瓦式硬盤，把高密度企業(yè)硬盤做到了20T。比如，全球領(lǐng)先的云存儲服務(wù)商Dropbox，該公司在去年年底就已經(jīng)遷移到20T SMR HDD上了。

提到SMR，可能會有一些消費者會質(zhì)疑它的寫入性能、可靠性。對此，劉鋼在后續(xù)的媒體群訪中解釋說：“16T的硬盤通過改進技術(shù)變成18T，如果采用的是SMR技術(shù)，這個硬盤的容量就會變成20T。它是通過提高磁軌間的密度來做到的，不過這要求用戶在使用20T SMR高密度硬盤時在軟件上做一些調(diào)整，保證順序地寫入。一些公司并未留意到這個細節(jié)，沒有往這個方向來做調(diào)整和優(yōu)化，致使一些消費者對SMR技術(shù)有質(zhì)疑�！�

按照劉鋼的說法，SMR適用于冷存儲和極冷存儲。它最早的應(yīng)用場景是視頻監(jiān)控，另外還能存儲網(wǎng)店的數(shù)據(jù)、金融的票據(jù)、括醫(yī)療的數(shù)據(jù)，以上的數(shù)據(jù)都可能是極冷數(shù)據(jù)�，F(xiàn)在已經(jīng)有很多云服務(wù)商在積極部署SMR。

未來不足1.5%的數(shù)據(jù)被存儲！IPFS存儲架構(gòu)應(yīng)用正在爆發(fā)

劉鋼現(xiàn)場展示了西部數(shù)據(jù)企業(yè)級硬盤

在過去幾個季度，18T硬盤的良率有了較大的改善，無論是互聯(lián)網(wǎng)服務(wù)商，還是IPFS服務(wù)商，部署18T已是大勢所趨。劉鋼在現(xiàn)場展示了西部數(shù)據(jù)的18T硬盤，他介紹說：“從去年第四季度開始被快速部署，到2021年Q1頭部互聯(lián)網(wǎng)服務(wù)商快速驗證、測試。2021年Q2開始，很多IPFS公司和云服務(wù)商已經(jīng)考慮把數(shù)據(jù)遷移到18T高密度硬盤上，甚至有些高密度極致需求的用戶還覺得18T硬盤不夠用。今年下半年，我們將提供20T硬盤，已經(jīng)有企業(yè)在測試、驗證中，預(yù)計從明年開始進行部署�！�

未來不足1.5%的數(shù)據(jù)被存儲！IPFS存儲架構(gòu)應(yīng)用正在爆發(fā)

值得強調(diào)的是，頭部云服務(wù)商所使用的硬盤從8T進化到18T，花費了整整四年時間（2017－2021年），而IPFS服務(wù)商僅用了四個季度（2020年Q2－2021年Q2）。IPFS服務(wù)商從8T進化到12T、14T、16T，很快就過渡到18T。實際上，當(dāng)數(shù)據(jù)中心采用的硬盤從14T升級到18T，在同樣存儲容量的情況下，服務(wù)器的數(shù)量可減少22％，單盤容量增加29％，單位功耗降低21％，其部署成本、運維成本也更低。

·西部數(shù)據(jù)SSD產(chǎn)品在快數(shù)據(jù)領(lǐng)域的優(yōu)勢

未來不足1.5%的數(shù)據(jù)被存儲！IPFS存儲架構(gòu)應(yīng)用正在爆發(fā)

西部數(shù)據(jù)針對快數(shù)據(jù)如熱存儲、溫存儲，有推出過兩款基于96層3D NAND的SSD，其中一款是主流的Ultrastar? DC SN640 NVMe SSD，適用于讀寫均衡的混合型工作負載應(yīng)用；另一款是寫密集、計算密集的高性能Ultrastar? DC SN840 NVMe SSD，適用于密集型工作負載應(yīng)用。此外，西部數(shù)據(jù)還聯(lián)合鎧俠在今年2月推出了162層的第六代3D閃存技術(shù)。

未來不足1.5%的數(shù)據(jù)被存儲！IPFS存儲架構(gòu)應(yīng)用正在爆發(fā)

據(jù)劉鋼介紹，西部數(shù)據(jù)與鎧俠提供了全球33％的Flash產(chǎn)能。這兩家公司聯(lián)合推出的第6代3D閃存技術(shù)，比第五代產(chǎn)品的芯片尺寸縮小了40％，側(cè)面單元密度更高，程序性能提高了兩倍以上，讀取延遲縮短了10％，輸入／輸出IOPS提高了66％。

“從材料本身來看，3DNAND的堆疊層數(shù)越高風(fēng)險就越大，對工藝和投入的要求越高。在3D NAND 96層之后，很多公司后續(xù)產(chǎn)品的層數(shù)并不一致�！皠撎貏e強調(diào)說，在同一代技術(shù)里，一家公司的3D NAND層數(shù)越少，就代表它的技術(shù)越先進，因為無需堆疊太多層，即能滿足閃存的性能需求。西部數(shù)據(jù)在96層之后是112層，而不是120多層，再然后是162層，而不是170或190多層，說明西部數(shù)據(jù)在單位面積上能做到更高的密度。

未來不足1.5%的數(shù)據(jù)被存儲！IPFS存儲架構(gòu)應(yīng)用正在爆發(fā)

除了增加層數(shù)之外，存儲密度還有另一種增長方式：閃存顆粒從TLC變成QLC，甚至變成PLC。實際上，存儲增長密度的方式并不是一維的，它既可縱向增長也可在一個單元內(nèi)部增長�！拔鞑繑�(shù)據(jù)企業(yè)級SSD具備縱向集成優(yōu)勢。我們有先進的SSD控制器和高性能自主固件將Flash縱向集成，最終能實現(xiàn)非常穩(wěn)定的一致性。以某大型電商的應(yīng)用為例，他們要求SSD的波動范圍不超過10％，用UltrastarTM DC SN640 NVMe SSD測出來波動數(shù)據(jù)是0．11％�！眲摫硎�，對SSD產(chǎn)品而言，具備穩(wěn)定的一致性極其關(guān)鍵，因為它涉及到非常多的因素。

可靠性與生產(chǎn)工藝和硬盤的設(shè)計、控制有關(guān)。首先，閃存與工藝周期有關(guān)系，如果沒有大規(guī)模的產(chǎn)能，就很難度過產(chǎn)能周期。另外，當(dāng)SSD容量越大，其大部分成本會在閃存上，控制器、接口成本占的比例會越來越小，所以產(chǎn)能非常重要；其次，是領(lǐng)先的技術(shù)。企業(yè)需要追求整個硬盤的性能，而不是僅僅關(guān)注閃存材料的性能、可靠性�；谡w的可靠性，控制器和固件可以進行很好的開發(fā)。以上因素就是一家公司能夠做到的縱向整合，只有做到極致地優(yōu)化，才能提供超級穩(wěn)定的一致性。“只有既熟悉材料，也熟悉控制器，還熟悉框架，才能做到縱向一體的集成�！皠搹娬{(diào)。

總之，西部數(shù)據(jù)能滿足用戶的不同存儲、計算需求，可提供適用于不同層級數(shù)據(jù)的存儲產(chǎn)品。無論是大數(shù)據(jù)存儲，還是快數(shù)據(jù)計算，都有相應(yīng)的產(chǎn)品。如果把這樣的存儲架構(gòu)和存儲技術(shù)，使用到IPFS或Web3．0場景里，會是什么樣的應(yīng)用？

IPFS服務(wù)商與西部數(shù)據(jù)的產(chǎn)品組合

未來不足1.5%的數(shù)據(jù)被存儲！IPFS存儲架構(gòu)應(yīng)用正在爆發(fā)

對IPFS服務(wù)商而言，現(xiàn)在的存儲方案存在著數(shù)據(jù)吞吐量低，空間利用率低、難擴容，總體擁有成本高，運維低效，故障懲罰高等痛點。在IPFS層面“存算分離”已經(jīng)是共識，在計算集群中，西部數(shù)據(jù)有7．68TB的SSD；在存儲集群中，西部數(shù)據(jù)推薦使用18TB的高密度硬盤，4U60＋18T存儲方案與傳統(tǒng)的4U36＋16T存儲方案相比，機柜數(shù)可減少46％、功耗可減少36％，可大規(guī)模降低部署及運維成本。

西部數(shù)據(jù)已經(jīng)與合作伙伴共同推出了各種IPFS方案。典型的應(yīng)用案例有：

星辰天合（XSKY）、浪潮聯(lián)合西部數(shù)據(jù)推出了IPFS解決方案，該方案基于西部數(shù)據(jù)的Ultrastar DC HC550 18TB HDD硬盤、浪潮英信服務(wù)器NF5466M5、XSKY的文件存儲系統(tǒng)等關(guān)鍵組件，可實現(xiàn)快速部署、便捷運維。與4U36服務(wù)器＋14TB HDD方案相比，4U36＋18TB HDD方案能節(jié)省22％的機柜空間，節(jié)約兩倍以上的硬件資源，降低20％的電源功耗。
杉巖數(shù)據(jù)的MOS海量對象存儲系統(tǒng)采用了西部數(shù)據(jù)的Ultrastar DC SN840／640 NVMe SSD、Ultrastar DC HC550 HDD和JBOD存儲平臺。與主流的4U36＋16T方案相比，雙方合作的4U60＋18T方案可將服務(wù)器節(jié)點數(shù)量降低至原來的47％，節(jié)省了46％的機柜空間，降低了36％的電源功耗。
長城超云不僅在存儲集群里使用了西部數(shù)據(jù)的產(chǎn)品，還在計算集群里使用了Ultrastar DC SN640 NVMe SSD，以此來提高封裝的效率，獲得更高的性能和穩(wěn)定的運行。此外，IPFS分布式存儲服務(wù)器制造商靈動也在計算機群和存儲機群里采用了適用于快數(shù)據(jù)的7．68T SSD存儲方案和適用于大數(shù)據(jù)的18T高密度硬盤存儲方案。

未來不足1.5%的數(shù)據(jù)被存儲！IPFS存儲架構(gòu)應(yīng)用正在爆發(fā)

總而言之，西部數(shù)據(jù)針對Web3．0或IPFS的基礎(chǔ)設(shè)施架構(gòu)：在存儲集群中，有高密度的磁盤擴展柜、大容量的18T硬盤，還有UltrastarTM DC SN640 NVMe SSD來作為緩存。在計算集群中，有UltrastarTM DC SN640 NVMe SSD、UltrastarTM DC SN840 NVMe SSD寫密集型的SSD產(chǎn)品助力用戶做快速運算。

尤其是在計算集群中，西部數(shù)據(jù)解決了P1和P2的性能瓶頸。劉鋼表示，P1是可以并行的，P2之后是串行的。IPFS服務(wù)商更愿意把P1和P2分開，但因為P1和P2節(jié)點之間需要交換大量數(shù)據(jù)，分開之后雖然可以提高計算性能，但是會造成數(shù)據(jù)傳輸花費很多時間，這樣其實是不劃算的。如果所有的服務(wù)器集群共享一個高速閃存池，兩類服務(wù)器通過NVMe－oF連到高速的閃存池，P1計算的數(shù)據(jù)在閃存池里，P2可以直接放入，它們可以像訪問本地閃存一樣，訪問高速的資源共享池。對大規(guī)模的IPFS分布式存儲服務(wù)器制造商來說，當(dāng)他們的節(jié)點達到100個PB以上時，可能需要用這些存儲技術(shù)來優(yōu)化存儲技術(shù)架構(gòu)。

劉鋼在最后也強調(diào)了西部數(shù)據(jù)引以為傲的優(yōu)勢，也就是擁有全線的多場景的存儲技術(shù)和產(chǎn)品，可提供從芯片到系統(tǒng)的存儲技術(shù)和產(chǎn)品，適用的場景從消費者級的手機、相機到個人電腦、自動駕駛汽車，到企業(yè)級和云端的計算和存儲節(jié)點。在未來數(shù)據(jù)爆炸式增長的環(huán)境中，這樣的優(yōu)勢將為包含企業(yè)客戶的數(shù)據(jù)存儲架構(gòu)、行業(yè)的存儲和一般用戶的個人存儲提供領(lǐng)先的優(yōu)勢。

數(shù)據(jù)存儲存儲架構(gòu)