戴爾針對(duì)其PowerScale集群文件系統(tǒng)存儲(chǔ)的并行化改進(jìn)正在穩(wěn)步推進(jìn)。戴爾發(fā)言人表示："我們?cè)赑roject Lightning的早期訪問階段收到了積極反饋，請(qǐng)繼續(xù)關(guān)注正式版本的發(fā)布消息。"

PowerScale是戴爾擴(kuò)展并重新品牌化的Isilon橫向擴(kuò)展文件存儲(chǔ)技術(shù)，搭載OneFS操作系統(tǒng)，支持4到256個(gè)節(jié)點(diǎn)。它與Qumulo的Core系統(tǒng)形成競(jìng)爭(zhēng)關(guān)系，后者由一些Isilon創(chuàng)始人開發(fā)，采用類似的集群化橫向擴(kuò)展設(shè)計(jì)。

另一種高性能文件系統(tǒng)技術(shù)使用并行文件系統(tǒng)，如IBM的Storage Scale（重新品牌化并開發(fā)的GPFS）和Lustre。這些系統(tǒng)為高性能計(jì)算（HPC）系統(tǒng)提供更高帶寬的文件系統(tǒng)訪問。近年來，隨著大數(shù)據(jù)分析和人工智能的興起，以及多GPU服務(wù)器的普及，企業(yè)計(jì)算、AI訓(xùn)練和推理都需要高性能文件訪問能力。

這一需求催生了VAST Data的并行數(shù)據(jù)訪問技術(shù)、Hammerspace的并行NFS技術(shù)，以及WEKA的并行文件系統(tǒng)技術(shù)。作為回應(yīng)，戴爾在2024年啟動(dòng)了Project Lightning項(xiàng)目，為其PowerScale和ObjectScale存儲(chǔ)系統(tǒng)增加并行訪問功能。當(dāng)時(shí)，戴爾ISG部門營銷高級(jí)副總裁Varun Chhabra在戴爾科技世界大會(huì)上表示："Project Lightning將為PowerScale中的非結(jié)構(gòu)化數(shù)據(jù)提供并行文件系統(tǒng)。該項(xiàng)目將帶來極致性能和無與倫比的效率，接近線速率效率——97%的網(wǎng)絡(luò)利用率，以及滿足數(shù)千個(gè)數(shù)據(jù)密集型GPU的能力。"

戴爾告訴我們，通過Project Lightning："PowerScale以NAS的簡(jiǎn)便性提供企業(yè)級(jí)并行文件系統(tǒng)性能，適用于從小型到大規(guī)模部署的各種企業(yè)，并內(nèi)置安全功能。它可在多個(gè)節(jié)點(diǎn)間為多個(gè)客戶端提供大規(guī)模I/O，為AI、HPC和分析工作負(fù)載提供一致的高速訪問、高并發(fā)和低延遲，采用分布式元數(shù)據(jù)且無中央瓶頸。"

與并行文件系統(tǒng)一般特性相符，"PowerScale還利用客戶端軟件層將讀取操作分發(fā)到集群中的所有節(jié)點(diǎn)，實(shí)現(xiàn)真正的并行讀取性能（包括RDMA等優(yōu)勢(shì)，避免TCP開銷）。雖然我們不想提前透露，但我們即將推出一些重要更新，將使PowerScale更加并行化并大幅提升性能。"

RDMA是遠(yuǎn)程直接內(nèi)存訪問技術(shù)，并行化的PowerScale將在驅(qū)動(dòng)器級(jí)別使用這項(xiàng)技術(shù)。"Project Lightning通過直接從客戶端到設(shè)備的連接，繞過文件系統(tǒng)，實(shí)現(xiàn)極低延遲和極高性能。由于直接連接到設(shè)備，其性能受制于網(wǎng)絡(luò)結(jié)構(gòu)。Project Lightning將成為世界上最快的并行文件系統(tǒng)，性能比競(jìng)爭(zhēng)系統(tǒng)高出2倍。"

主要的并行文件系統(tǒng)競(jìng)爭(zhēng)對(duì)手包括IBM Storage Scale、DDN Lustre、VDURA的PanFS、Quobyte和BeeGFS。這些系統(tǒng)都具有HPC背景，大多數(shù)現(xiàn)在都支持企業(yè)AI用例。它們都需要訪問系統(tǒng)安裝特定的客戶端軟件，將標(biāo)準(zhǔn)文件系統(tǒng)訪問協(xié)議轉(zhuǎn)換為并行文件系統(tǒng)軟件內(nèi)部的多節(jié)點(diǎn)處理。VAST Data和Hammerspace則不需要，依賴標(biāo)準(zhǔn)的NFS和SMB。WEKA需要在訪問WekaFS文件系統(tǒng)的系統(tǒng)上安裝其WEKA客戶端軟件進(jìn)行直接文件訪問。

NetApp推出了用于AI的ONTAP項(xiàng)目，配備獨(dú)立的計(jì)算控制器，運(yùn)行ONTAP實(shí)例，"增強(qiáng)了額外的元數(shù)據(jù)和數(shù)據(jù)服務(wù)"，以及裝滿NVMe SSD的存儲(chǔ)節(jié)點(diǎn)，形成單一存儲(chǔ)池，通過高速、低延遲、基于以太網(wǎng)的RDMA結(jié)構(gòu)進(jìn)行訪問。我們預(yù)計(jì)在未來幾周內(nèi)會(huì)有關(guān)于其進(jìn)展的消息。HPE與VAST Data就其文件系統(tǒng)軟件達(dá)成了合作協(xié)議。

這些舉措為Qumulo提供了機(jī)會(huì)，要么加強(qiáng)其中間市場(chǎng)的吸引力，要么在其Core操作系統(tǒng)中增加并行訪問功能，配合其性能增強(qiáng)的NeuralCache預(yù)測(cè)緩存功能。

我們預(yù)計(jì)在未來幾周內(nèi)會(huì)聽到更多關(guān)于Project Lightning對(duì)PowerScale影響的消息，它很可能會(huì)在明年5月在拉斯維加斯舉行的戴爾科技世界大會(huì)上成為重點(diǎn)。

Q&A

Q1：戴爾Project Lightning項(xiàng)目是什么？

A：Project Lightning是戴爾在2024年啟動(dòng)的項(xiàng)目，旨在為其PowerScale和ObjectScale存儲(chǔ)系統(tǒng)增加并行訪問功能，提供企業(yè)級(jí)并行文件系統(tǒng)性能，實(shí)現(xiàn)97%的網(wǎng)絡(luò)利用率和滿足數(shù)千個(gè)數(shù)據(jù)密集型GPU的處理需求。

Q2：PowerScale與競(jìng)爭(zhēng)對(duì)手相比有什么優(yōu)勢(shì)？

A：PowerScale結(jié)合了NAS的簡(jiǎn)便性和并行文件系統(tǒng)的高性能，支持4到256個(gè)節(jié)點(diǎn)，提供分布式元數(shù)據(jù)且無中央瓶頸。通過Project Lightning，其性能比競(jìng)爭(zhēng)系統(tǒng)高出2倍，成為世界上最快的并行文件系統(tǒng)。

Q3：哪些企業(yè)需要使用并行文件系統(tǒng)技術(shù)？

A：主要是需要高性能計(jì)算的企業(yè)，包括進(jìn)行大數(shù)據(jù)分析、AI訓(xùn)練和推理的公司，以及使用多GPU服務(wù)器的企業(yè)。這些場(chǎng)景都需要高速文件訪問、高并發(fā)和低延遲的存儲(chǔ)解決方案。