Copyright ? 2015 深圳市鑫惠廣網絡科技有限公司 粵ICP備2023111395號
相信“大數據”這個詞許多人都已經耳熟能詳了,它通常被集中用于解決數學、科學和醫學中的大問題,對于高性能計算尤其如此。我們生活在這樣一個數據時代,在人工智能、機器學習、物聯網和大數據分析的驅動下,越來越多的數據被創造出來,數據量級越來越大,信息存儲的速度也愈發逼近極限。可當今的存儲系統卻無法滿足實時數據收集和分析的容量和性能要求,對于數據量的問題,我們還能通過堆砌機器來解決,1臺不夠就100臺,100臺不夠就上1000臺。但數據存儲的傳輸速度卻很難通過物理介質來得到顯著的提升。
為此,以內存(DRAM)為核心的系統基于其高速存儲的特性,開始快速地在市場嶄露頭角。不過可惜的是,雖然它的存儲速度比起閃存快千倍,但它的價格更高、數據密度更低,同時安全性方面還存在易失性。當傳輸過程中,一旦出現斷電或者其他故障,寶貴的實時數據將丟失,這就導致它無法保證長久使用。而找到能夠完成長久保存的存儲介質就成為了行業里所有廠商都想要攻克的一個關鍵點。隨著英特爾和美光在四年前宣布的3DXPoint技術,它為持久內存的誕生奠定了基礎,人們也向“大內存時代”也正式邁出了第一步。
相較于“大數據”,“大內存”一詞對大多數人來說可能有些陌生,但現如今,它對于呈指數上漲的龐大數據來說是必要的。實際上“大內存”是MemVerge公司提出的一個概念,關乎到一個即將到來的計算新時代。
想要了解大內存,首先要理解計算機的體系架構。簡而言之,數據在計算機內的存儲是分等級的,經常用的數據被放在比較貴的內存里,不經常用的數據則被放在硬盤、SSD 等更便宜的硬件設備里(這些設備被專業人士統稱為“閃存”,與“內存”對應)。原因很簡單,無非是讓計算更具性價比。
內存貴,是因為它存取速度快,適合放在靠近CPU的位置,供CPU讀寫經常使用的數據。但內存(DRAM)存在斷電易失性,所以不能作為永久的數據儲存硬件。而閃存雖然存取速度慢,但它價格便宜,且能很長時間地保存數據。因此,適合存放不經常用到的數據。當CPU想要訪問閃存中的數據時,閃存把數據交給內存,內存再交給CPU。
大內存的源頭就是持久內存(PMEM),通過持久內存制造的硬件能夠很好地融合內存及閃存的優點,低延遲快速存取、斷電不易失,且相較于內存而言儲存同樣大小的數據價格更低。這樣一來,PMEM就能做到既提升計算的性能,也支持更具效益的存儲。而“大內存時代”實際上指的就是在未來的存儲架構中,持久內存(PMEM)也許將會逐漸替代傳統內存(DRAM),并擠壓閃存的存在價值。在未來,或許所有的應用程序將運行在大內存之上,而閃存存儲則會被很少用到。
英特爾是PMEM方面的先行者,它們早在20年前就開始實驗,并基于后來研發出的3DX Point的存儲架構,在2019年推出了他們首款PMEM產品-傲騰。當然,英特爾并非孤獨的嘗鮮者,除英特爾外,美光、海力士等其他硬件公司也在大內存領域加緊了布局。雖然出于競爭條款限制或研發周期的原因,目前市場上只有英特爾一個玩家,但預計2年后的PMEM市場將會迎來一輪爆發。
MemVerge的軟件就是服務于這一爆發趨勢的。更精確地說,MemVerge提供的是針對PMem數據中心的企業級解決方案,讓現有的軟件更好地運行在即將來到的新的內存架構之上。對于企業來說,嘗試新技術的動力往往源于實際業務中的痛點,在大內存這樣一個新的架構上更是如此。MemVerge的客戶中,有一家位于華爾街的投資銀行最為典型。
每日股市盤中,這家投資銀行以平均每秒五萬筆交易的頻率進行股票買賣,這些交易數據需要被實時地分發到兩百多個賬戶。這些賬戶有些是交易相關,比如對沖基金、銀行、其他交易員,有些是系統相關,比如合法化管理、風險評估等。
在投行的這項業務中,系統延遲影響的是真金白銀的得失,因此在降低延遲這件事情上,他們不遺余力。在傲騰出現之前,銀行系統內有一個非常成熟的解決方案,名為Pub/Sub(發布/訂閱),通過SSD結合傳統網絡的解決方案,延遲在幾百微秒的量級。而MemVerge為這家銀行構建了傲騰加RDMA的解決方案,配合Memory Machine的軟件技術,能夠將延遲降低至3微秒左右。
另外,在近年來大熱的 AI 領域,大內存也能發揮作用。MemVerge的CEO范承工介紹,在深度學習的模型訓練中,當模型的大小大于內存的大小時,AI模型的訓練速度會被數據的傳輸速度掣肘。影視動畫、游戲等行業同理,也會遇到這樣的問題,大內存的應用就能夠有效解決這些難題。
總之,像內存介質這樣普通消費者看不見的技術正在不斷演進。在這一領域中,顛覆性創新的出現,往往伴隨著的就是新一輪浪潮。就像智能移動設備的發展給移動互聯網提供了硬件方面的支持,AI的廣泛應用得益于對馮·諾依曼架構瓶頸的突破,PMem介質內存帶來的驚喜還未被揭開,這其中隱藏的機會也正等待被開啟。
Copyright ? 2015 深圳市鑫惠廣網絡科技有限公司 粵ICP備2023111395號