Copyright ? 2015 深圳市鑫惠廣網絡科技有限公司 粵ICP備2023111395號
最近兩年
存儲招標項目出現了1個大趨勢
↓
新建的千萬級存儲大項目
嘿嘿,越來越多
這類項目隨便搜搜就是一大把
……
因為對很多頭部客戶來說
政府、廣電、醫衛、證券、科研單位...
超大容量存儲都變成了剛需
大家都在忙著一件事
↓
行業老司機們
碰到這類存儲大項目
心情就變得相當復雜嘍
大家心里都門兒清
以前客戶存儲要擴容,很簡單
加點磁盤擴展柜就行
性能不夠就把機頭也升級下
項目搞起來都輕車熟路
很多都是延續性采購,單一來源
可現在
存儲容量規模完全爆炸了
部署難度呈指數級上升
以前的搞法有點Hold不在
必須得找新的解決方案
那么,什么規模
才能稱為海量存儲?
↓
拿最近一個真實項目舉例
450萬預算,干了5個PB
所以,PB是海量存儲的起步門檻
那么PB,又是什么級別呢?
你可以慢慢數一下,1024是進階單位
再形象一點
如果1塊硬盤存儲容量按10T算
那么,1PB相當大概103塊10T的硬盤
(10T*103塊硬盤=1030T≈1PB)
這還不算副本的額外開銷
現在稍有點規模的海量存儲項目
動輒就是幾十PB,夸張點的到幾個EB
這類項目,對于廠商來說
不僅是一種“大考”,同時也是“大坑”
沒點填坑實力,就只能喊救命了
對于這種級別的存儲來說
不僅考量超大的容量和擴展性
還要確保高性能、高可靠、高智能
↓
那么誰才是
國內海量存儲部署的
“藍波萬廠商”?
↓
論單體規模
曙光擁有國內最大的
【EB級云存儲實驗室】
支撐大型行業應用系統
論實戰規模
從2009年單套存儲系統容量16PB
到2022年單套存儲系統300PB
曙光不斷突破業內存儲容量極限
…
支撐這些大Case的產品
就是曙光海量存儲系統的旗艦
ParaStor
↓
前面我們說過
海量存儲系統“水深坑多”
那么曙光ParaStor
如何涉水避坑、海納百川呢?
↓
底層數據管理,說白了
就是對海量磁盤的管理能力
這種管理
通常靠“磁盤文件系統”來完成
目前業界分布式存儲系統
大多采用OS自帶的本地文件系統
或者開源文件系統
(EXT4/ZFS等等)
進行底層磁盤管理
以降低代碼開發量,縮短研發周期
這種間接的磁盤管理方式
無法更直接、高效地發揮磁盤性能
讀寫數據時要調用ext4、zfs接口
好比每次調用磁盤,還得先開一道門
海量存儲系統,磁盤成千上萬塊
如果單磁盤的性能無法充分發揮
最終影響存儲系統的整體性能和可靠性
而曙光希望直接操控磁盤
自研了一套高效的本地磁盤管理系統
叫作Object System
↓
Object System可以“精細化”操控磁盤
能精細化地控制磁盤布局
能精細化地控制磁盤讀寫
由此,數據負載更均衡,數據讀寫更快
還能精細化地一點點“摳出”
更多的存儲空間
↓
這就涉及到了磁盤的存儲利用率
也就是大家常說的「得盤率」
海量存儲應用也分場景
比如,AI場景的圖像識別
就是典型的海量小文件的存儲場景
每個小文件都是KB級的
在峰值階段,每秒會生成大量小文件
都需要寫入存儲系統中
會產生高頻隨機I/O讀寫
這就是“小文件、大麻煩”的困境
在現實中,從成本考慮
客戶的存儲介質依然以機械磁盤為主
往往無法應對海量小文件的性能挑戰
曙光ParaStor采用“混搭”方案
實現【機械磁盤+閃存】深度融合
高頻熱點IO需求,交給閃存完成
同時通過小文件合并、元數據緩存
動態智能預讀等多種神操作
完美解決“小文件、大存儲”的難題
同時又不會有明顯成本增加
在某些新興應用場景下
需要高性能的對象存儲
ParaStor的對象接口
對IO協議棧進行極簡優化
性能可達到業內領先水平
還有一些是大帶寬場景
比如,非編、渲染、科研計算等
會產生大文件
有時單個文件達到TB級
這些場景下訪問存儲系統時
就需要大帶寬
曙光ParaStor也有絕招
通過高性能網絡RDMA協議、
專屬高性能POSIX客戶端等技術
能讓單一客戶端讀寫帶寬均超過25GB/s
這指標,代表了業界最高水準
總之,曙光ParaStor完美匹配
對帶寬、IOPS、時延的個性化需求場景
1、一致性
海量存儲系統必然伴隨著
大量客戶端的并發訪問需求
必須保證數據訪問的一致性
對此,曙光打造了一套分布式鎖
DLM(Distributed Lock Management)
分布式鎖是ParaStor的內嵌服務模塊
是對于共享資源的高效協調器
實現所有客戶端對于同一文件的有序訪問
保證海量數據的強一致性
2、高可靠性
一個百PB級海量存儲系統
運轉著上萬塊磁盤
硬盤的狀態監控和預警處理至關重要
如果沒有智能的處理方式
那么就是一種毀滅性災難
曙光ParaStor除了通過成熟技術
比如,多副本、糾刪碼等
來防范單故障外
還自研了一種算法
內部資源動態調度管理算法
專門針對大集群場景
實現故障智能化預處理
故障無感知自愈...
曙光ParaStor的1個存儲節點
真正實現了海量異構數據資源的融合
同時,曙光ParaStor還能提供
大數據存算分離解決方案
基于原生HDFS接口,無任何協議損耗
實現存儲與計算資源按需配置的同時
滿足新老存儲同時讀寫
應用“0”改造,數據“0”遷移
集群通常有數百甚至數千節點
各節點間的信息實時同步開銷
會成為存儲系統的不可承受之重
曙光ParaStor在集群通信管理模塊中
以分組為單位進行管理信令交互
實現管理流量的去中心化錯峰交互
集群信息秒級同步
存儲廠商那么多
為啥曙光能成為
海量存儲的領域的“扛把子”?
除了ParaStor存儲本身技術過硬外
還有這么幾點,也很值得琢磨
2009年,曙光就已經組建存儲研發team
擁有國內一流的分布式存儲研發團隊
建隊初始,曙光初心就是
把核心技術牢牢掌握在自己手上
↓
通過10多年的自研歷程
曙光已經累積200余項核心技術發明專利
連續8年領跑國內分布式存儲市場
(數據來源:IDC)
超大規模,不僅僅是節點數增加
也不僅僅是磁盤容量的飆升
還會帶來一系列的系統性問題
(業務適配、系統兼容、容量預估甚至物理環境問題)
沒點實戰經驗,光堆產品真不行
曙光是全國海量存儲部署規模最大的廠商
對各類高端客戶的業務屬性了如執掌
可以見招拆招,確保項目順利落地
↓
超大項目,定制化少不了
而曙光參加過大量高端計算項目
這些項目往往都具備特殊性
因此,面對定制需求,曙光是這樣的
同時,因為底層自主研發
曙光能實現源代碼級調優
幫助客戶業務系統深度優化
so,老司機們,還等什么
如果你遇到難搞的海量存儲項目
找曙光準沒錯啦
Copyright ? 2015 深圳市鑫惠廣網絡科技有限公司 粵ICP備2023111395號