IOSG | Decentralization數據層：AI時代的新基礎設施
TL/DR
我們曾討論過AI和Web3能夠如何各取所長，在計算網絡、代理平臺和消費應用等各個垂直產業上相輔相成。當聚焦在數據資源這一垂直領域，Web新興代表項目為數據的獲取，共享和利用提供了新的可能性。
傳統數據提供商難以滿足AI和其他數據驅動產業對高質量、實時可驗證數據的需求，尤其在透明度、用戶控制和隱私保護方面存在局限
Web3方案正致力重塑數據生態。MPC、零知識證明和TLSNotary等技術確保數據在多個來源之間流通時的真實性和隱私保護，分布式存儲和邊緣計算則為數據的實時處理提供了更高的靈活性和效率。
其中Decentralization數據網絡這一新興基礎設施萌生了幾個代表性項目OpenLayer（模塊化的真實數據層），Grass（利用用戶閑置帶寬和Decentralization的爬蟲Node網絡）和Vana（用戶數據主權Layer1網絡），以不同的技術路徑為AI訓練和應用等領域開辟新的前景。
通過眾包的容量、無信任的抽象層和基于Tokens的激勵機制，Decentralization數據基礎設施能夠提供比Web2超大規模服務商更私密、安全、高效且經濟的解決方案，并且賦予用戶對其數據和其相關資源的控制權，構建一個更加開放、安全和互通的數字生態系統。1.數據需求浪潮
數據已成為各行業創新和決策的關鍵驅動。UBS預測全球數據量預計將在2020年至2030年間增長超過十倍達到660ZB，到2025年，全球每人每天將產生463EB（Exabytes，1EB=10億GB）的數據。數據即服務（DaaS）市場在快速擴張，根據GrandViewResearch的報告，全球DaaS市場在2023年的估值為143.6億美元，預計到2030年將以28.1%的復合年增長率增長，最終達到768億美元。這些高增長的數字背后是多個產業領域對高質量、實時可信賴數據的需求。
AI模型訓練依賴大量數據輸入，用于識別模式和調整參數。訓練后也需要數據集測試模型的性能和泛化能力。此外，AIagent作為未來可預見的新興智能應用形式，需要實時可靠的數據源，以確保準確的決策和任務執行。
(Source:kdnuggets.com)
傳統數據架構在專業服務方面有效，但集中化模式的局限性日益明顯。特別是在新興數據源的覆蓋、透明度和用戶隱私保護方面，傳統數據生態系統正面臨挑戰。這里例舉幾個方面：
數據覆蓋不足：傳統數據提供商在快速捕捉和分析如社交媒體情緒、物聯網設備數據等新興數據源方面存在挑戰。中心化系統難以高效地獲取和整合來自眾多小規模或非主流來源的"長尾"數據。
比如2021年GameStop事件就揭示了傳統金融數據提供商在分析社交媒體情緒時的局限性。Reddit等平臺上的投資者情緒迅速改變了市場走勢，但像Bloomberg和Reuters這樣的數據終端未能及時捕捉到這些動態，導致市場預測滯后。
數據可訪問性受限：壟斷限制了可訪問性。許多傳統提供商通過API/云服務開放部分數據，但高昂的訪問費用和復雜授權流程仍然增加了數據整合的難度。
鏈上開發者難以快速接入可靠的鏈下數據，高質量數據被少數巨頭壟斷，訪問成本高。
數據透明度和可信度問題：許多中心化數據提供商對其數據收集和處理方法缺乏透明度，且缺乏有效的機制來驗證大規模數據的真實性和完整性。大規模實時數據的驗證仍然是一個復雜的問題,中心化的本質也增加了數據被篡改或操縱的風險。
隱私保護和數據所有權：大型科技公司大規模商用了用戶數據。用戶作為私人數據的創造者，很難從中獲得應有的價值回報。用戶通常無法了解他們的數據如何被收集、處理和使用，也難以決定數據的使用范圍和方式。過度收集和使用也導致嚴重的隱私風險。
例如，Facebook的CambridgeAnalytica事件就暴露了傳統數據提供商如何在數據使用透明度和隱私保護方面存在巨大漏洞。
數據孤島：此外，不同來源、格式的實時數據難以快速整合，影響了全面分析的可能性。很多數據往往被鎖在組織內部，限制了跨行業和跨組織的數據共享和創新，數據孤島效應阻礙了跨域的數據整合和分析。
比如在消費行業，品牌需要整合來自電商平臺、實體店、社交媒體和市場研究的數據，但這些數據可能由于平臺形式不統一或被隔離，難以整合。再例如，像Uber和Lyft這樣的共享出行公司，雖然它們都收集大量來自用戶的，關于交通、乘客需求和地理位置的實時數據，但由于競爭關系，這些數據無法提出并共享整合。
除此以外，還有成本效率、靈活性等問題。傳統數據商正在積極應對這些挑戰, 但異軍突起的Web3技術為解決這些問題提供了新的思路和可能性。3.Web3數據生態
自2014年IPFS（InterPlanetaryFileSystem）等Decentralization存儲方案發布以來，業界涌現出一系列新興項目，致力于解決傳統數據生態的局限性。我們看到Decentralization數據解決方案已經形成了一個多層次、相互連接的生態系統，涵蓋了數據生命周期的各個階段，包括數據生成、存儲、交換、處理與分析、驗證與安全，以及隱私與所有權。
數據存儲：Filecoin和Arweave的快速發展證明了Decentralization存儲（DCS）正在成為存儲領域的范式轉變。DCS方案通過分布式架構減少了單點故障風險，同時以更具競爭力的成本效益吸引參與者。隨著一系列規模化應用案例的涌現，DCS的存儲容量呈現爆發式增長（例如Filecoin網絡的總存儲容量在2024年已達到22exabytes）。
處理和分析：Fluence等Decentralization數據運算平臺通過邊緣計算（EdgeComputing）技術提高了數據處理的實時性和效率，特別適用于物聯網（IoT）和AI推理等對實時性要求較高的應用場景。Web3項目利用聯邦學習、差分隱私、可信執行環境、全同態加密等技術在計算層上提供靈活的隱私保護和權衡。
數據市場/交換平臺：為了促進數據的價值量化和流通，OceanProtocol通過Tokens化和DEX機制,創建了高效且開放的數據交換渠道，例如幫助傳統制造公司（奔馳母公司Daimler）合作開發數據交換市場，以幫助其供應鏈管理中的數據分享。另一方面，Streamr則創造了適用于IoT和實時分析場景的無許可、訂閱式數據流網絡，在交通、物流項目中顯示了出色的潛力（例如與芬蘭智能城市項目合作）。
隨著數據交換和利用的日益頻繁，數據的真實性、可信度和隱私保護成為了不可忽視的關鍵問題。這促使Web3生態系統將創新延伸到了數據驗證和隱私保護領域，催生了一系列突破性的解決方案。3.1數據驗證與隱私保護的革新
許多web3技術及原生項目正致力于解決數據真實性和私有數據保護問題。除了ZK，MPC等技術發展被廣泛應用，其中傳輸層安全協議公證（TLSNotary）作為一種新興的驗證方法尤其值得關注。
TLSNotary簡介
傳輸層安全協議（TLS）是一種廣泛用于網絡通信的加密協議，旨在確保客戶端和服務器之間的數據傳輸的安全性、完整性和保密性。它是現代網絡通信中常見的加密標準，被用于HTTPS、電子郵件、即時通訊等多個場景。
(ProjectsworkingonTLSOracles,Source:BastianWetzel)
Web3數據驗證作為數據生態鏈條上的一個重要環節，應用前景十分廣闊，其生態的興榮正引導著一個更開放、動態和以用戶為中心的數字經濟。然而，真實性驗證技術的發展僅僅是構建新一代數據基礎設施的開始。4.Decentralization數據網絡
一些項目則結合上述的數據驗證技術，在數據生態的上游，即數據溯源、數據的分布式采集和可信傳輸上做出更深入的探索。下面重點討論幾個代表性項目：OpenLayer，Grass和Vana，它們在構建新一代數據基礎設施方面展現出獨特的潛力。4.1OpenLayer
OpenLayer是a16zCrypto2024春季加密創業加速器項目之一，作為首個模塊化的真實數據層，致力于提供一個創新的模塊化解決方案，用于協調數據的收集、驗證和轉換，以同時滿足Web2和Web3公司的需求。OpenLayer已吸引了包括GeometryVentures、LongHashVentures在內的知名基金和天使投資者的支持。
傳統數據層存在多重挑戰：缺乏可信驗證機制，依賴中心化架構導致訪問性受限，不同系統間的數據缺乏互操作性和流動性，同時也沒有公平的數據價值分配機制。
一個更加具象化的問題是，當今AI訓練數據正變得日益稀缺。在公共互聯網上，許多網站開始通過反爬蟲限制措施來防止AI公司大規模抓取數據。
而在私密專有數據方面，情況則更為復雜，許多有價值的數據由于其敏感性質而以隱私保護的方式存儲，缺乏有效的激勵機制。在這種現狀下，用戶無法安全地通過提供私人數據獲得直接收益，因此不愿意共享這些敏感數據。
為了解決這些問題，OpenLayer結合數據驗證技術搭建了一個模塊化真實數據層（ModularAuthenticDataLayer），并以Decentralization+經濟激勵的方式來協調數據收集、驗證和轉換過程，為Web2和Web3公司提供一個更安全、高效率、靈活的數據基礎設施。4.1.1OpenLayer模塊化設計的核心組件
OpenLayer提供了一個模塊化的平臺以簡化數據的收集、可信驗證和轉換過程流程：
a)OpenNodes
OpenNodes是OpenLayer生態系統中負責Decentralization數據收集的核心組件，通過用戶的移動應用、瀏覽器擴展等渠道收集數據，不同的運營商/Node可以根據其硬件規格執行最適合的任務而優化回報。
OpenNodes支持三種主要的數據類型，以滿足不同類型任務的需求：
公開可用的互聯網數據（如金融數據、天氣數據、體育數據和社交媒體流）
用戶私人數據（如Netflix觀看歷史、Amazon訂單記錄等）
來自安全來源的自報告數據（如由專有所有者簽名或特定可信硬件驗證的數據）。
開發者可以輕松添加新的數據類型,指定新的數據源，需求和數據檢索方法,用戶可以選擇提供去識別化的數據以換取獎勵。這種設計使得系統可以不斷擴展以適應新的數據需求，多樣化的數據源使得OpenLayer能夠為各種應用場景提供全面的數據支持，也降低了數據提供的門檻。
b)OpenValidators
OpenValidators負責收集之后的數據驗證，允許數據消費者確認用戶提供的數據與數據源的完全匹配。所有提供的驗證方法可以進行加密證明的,驗證結果可以在事后被證實。同一類型的證明,有多個不同的提供商提供服務。開發者可以根據自己的需求選擇最適合的驗證提供商。
在初始用例中,特別是針對來自互聯網API的公共或私有數據,OpenLayer以TLSNotary作為驗證解決方案，從任何Web應用程序導出數據,并在不損害隱私的情況下證明數據的真實性。
不局限于TLSNotary，得益于其模塊化設計,驗證系統可以輕松接入其他驗證方法，以適應不同類型的數據和驗證需求包括但不限于:
AttestedTLSconnections:利用可信執行環境(TEE)建立經過認證的TLS連接,確保數據在傳輸過程中的完整性和真實性。
SecureEnclaves:使用硬件級別的安全隔離環境(如IntelSGX)來處理和驗證敏感數據,提供更高級別的數據保護。
ZKProofGenerators:集成ZKP,允許在不泄露原始數據的情況下驗證數據的屬性或計算結果。
c)OpenConnect
OpenConnect是OpenLayer生態系統中負責數據轉換，實現可用性的核心模塊，處理來自各種來源的數據,確保數據在不同系統間的互操作性,以滿足不同應用的需求。例如:
將數據轉換為鏈上預言機（Oracle）格式,便于智能合約直接使用。
將非結構化原始數據轉換為結構化數據,為AI訓練等目的進行預處理。
對于來自用戶私人賬戶的數據,OpenConnect提供了數據脫敏功能以保護隱私，也提供了組件來增強數據共享過程中的安全性,減少數據泄露和濫用。為了滿足AI和Blockchain等應用對實時數據的需求,OpenConnect支持高效的實時數據轉換。
當下，通過和Eigenlayer的集成，OpenLayerAVS運營商監聽數據請求任務,負責抓取數據并進行驗證,然后將結果報告回系統，通過EigenLayer質押或重質押資產,為其行為提供經濟擔保。如惡意行為被證實,將面臨質押資產被罰沒的風險。作為EigenLayer主網上最早的的AVS(主動驗證服務)之一,OpenLayer已經吸引了超過50個運營商和40億美元的再質押資產。
總的來說，OpenLayer所構建的Decentralization數據層在不犧牲實用性和效率的前提下，擴展了可用數據的范圍和多樣性，同時通過加密技術和經濟激勵，確保了數據的真實性和完整性。其技術對于尋求獲取鏈下信息的Web3Dapp、需要用真實輸入來訓練和推斷的AI模型，以及希望根據現有身份和聲譽來細分和定位用戶的公司都有廣泛的實際用例。用戶也得以價值化他們的私有數據。4.2Grass
Grass是由WyndNetwork開發的旗艦項目，旨在創建一個Decentralization的網絡爬蟲和AI訓練數據平臺。在2023年末，Grass項目完成了由PolychainCapital和TribeCapital領投的350萬美元種子輪融資。緊接著，在2024年9月，項目又迎來了由HackVC領投的A輪融資，Polychain、Delphi、Lattice和BrevanHoward等知名投資機構也參與其中。
我們提到AI訓練需要新的數據敞口，而其中一個解決方案是使用多IP來突破數據訪問的權限，為AI進行數據喂養。Grass由此出發，創造了一個分布式爬蟲Node網絡，專門致力于以Decentralization物理基礎設施的方式，利用用戶的閑置帶寬為AI訓練收集并提供可驗證數據集。Node通過用戶的互聯網連接路由web請求,訪問公開網站并編譯結構化數據集。它使用邊緣計算技術進行初步數據清理和格式化,提高數據質量。
Grass采用了SolanaLayer2DataRollup架構,建立在Solana之上以提高處理效率。Grass使用驗證器接收、驗證和批處理來自Node的web交易,生成ZK證明以確保數據真實性。驗證后的數據存儲在數據賬本(L2)中,并鏈接到相應的L1鏈上證明。4.2.1Grass主要組件
a) GrassNode
與OpenNodes類似，C端用戶安裝Grass應用或瀏覽器擴展并運行,利用閑置帶寬進行網絡爬蟲操作,Node通過用戶的互聯網連接路由web請求,訪問公開網站并編譯結構化數據集，使用邊緣計算技術進行初步數據清理和格式化。用戶根據貢獻的帶寬和數據量獲得GRASSTokens獎勵。
b)路由器(Routers)
連接GrassNode和驗證器,管理Node網絡并中繼帶寬。Routers被激勵運營并獲得獎勵,獎勵比例與通過其中繼的總驗證帶寬成正比。
c)驗證器(Validators)
接收、驗證和批處理來自路由器的web交易,生成ZK證明，使用獨特的密鑰集來建立TLS連接,為與目標web服務器的通信選擇適當的密碼套件。Grass目前采用中心化驗證器,未來計劃轉向驗證器委員會。
d)ZK處理器(ZKProcessor)
接收來自驗證者的生成每個Node會話數據的證明，批處理所有web請求的有效性證明并提交到Layer1（Solana）。
e)Grass數據賬本（GrassL2）
存儲完整的數據集，并鏈接到相應的L1鏈（Solana）上證明。
f)邊緣嵌入模型
負責將非結構化web數據轉換為可用與AI訓練的結構化模型。
（Source：IOSG,David）
4.3VAVA
作為一個以用戶為中心的數據池網絡，Vana同樣致力于為AI和相關應用提供高質量數據。相比OpenLayer和Grass，Vana采用了更不同的技術路徑和商業模式。Vana在2024年9月完成500萬美元融資，由CoinbaseVentures領投，此前獲得Paradigm領投的1800萬美元A輪融資，其他知名投資者包括Polychain,CaseyCaruso等。
最初于2018年作為MIT的一個研究項目啟動，Vana旨在成為一個專門為用戶私有數據設計的Layer1Blockchain。其在數據所有權和價值分配上做出的創新使用戶能夠從基于其數據訓練的AI模型中獲利。Vana的核心在于通過無需信任、私密且可歸因的數據流動性池（DataLiquidityPool）和創新的ProofofContribution機制來實現私人數據的流通和價值化：
4.3.1.數據流動性池（DataLiquidityPool）
Vana引入了一個獨特的數據流動性池（DLP）概念：作為Vana網絡的核心組件，每個DLP都是一個獨立的點對點網絡，用于聚合特定類型的數據資產。用戶可以將他們的私人數據（如購物記錄、瀏覽習慣、社交媒體活動等）上傳至特定DLP，并靈活選擇是否將這些數據授權給特定的第三方使用。數據通過這些流動性池被整合和管理，這些數據經過去識別化處理，確保用戶隱私的同時允許數據參與商業應用，例如用于AI模型訓練或市場研究。
用戶向DLP提交數據并獲得相應的DLPTokens（每一個DLP都有特定的Tokens）獎勵，這些Tokens不僅代表用戶對數據池的貢獻，還賦予用戶對DLP的治理權和未來利潤分配權。用戶不僅可以分享數據，還可以從數據的后續調用中獲取持續的收益（并提供可視化追蹤）。與傳統的單次數據售賣不同，Vana允許數據持續參與經濟循環。
4.3.2.ProofofContribution機制
Vana的另一核心創新之一是ProofofContribution（貢獻證明）機制。這是Vana確保數據質量的關鍵機制，讓每個DLP可以根據其特性定制獨特的貢獻證明函數，以驗證數據的真實性和完整性，并評估數據對AI模型性能提升的貢獻。這一機制確保用戶的數據貢獻得到量化和記錄，從而為用戶提供獎勵。與Crypto中的“工作量證明”（ProofofWork）類似，ProofofContribution根據用戶貢獻的數據質量、數量以及被使用的頻次來為用戶分配收益。通過智能合約自動執行，確保貢獻者獲得與其貢獻匹配的獎勵。Vana的技術架構
數據流動性層（DataLiquidityLayer）
這是Vana的核心層，負責數據的貢獻、驗證和記錄到DLPs，將數據作為可轉移的數字資產引入鏈上。DLP創建者部署DLP智能合約，設定數據貢獻目的、驗證方法和貢獻參數。數據貢獻者和托管者提交數據進行驗證，貢獻證明（PoC）模塊會執行數據驗證和價值評估，根據參數給予治理權和獎勵。
數據可移植層（DataPortabilityLayer）
這是數據貢獻者和開發者的開放數據平臺，也是Vana的應用層。DataPortabilityLayer為數據貢獻者和開發者提供一個協作空間，以使用DLPs中積累的數據流動性構建應用。為User-Owned模型分布式訓練，AIDapp開發提供基礎設施。
通用連接組（Connectome）
一個Decentralization賬本，也是一個貫穿整個Vana生態系統的實時數據流圖，使用權益證明共識（ProofofStake）記錄Vana生態系統中的實時數據交易。確保DLPTokens的有效轉移并為應用提供跨DLP數據訪問。與EVM兼容，允許與其他網絡、協議和DeFi應用程序互操作。
（Source：Vana）
Vana提供了一條較為不同的路徑，專注于用戶數據的流動性和價值賦能，這種Decentralization的數據交換模式不僅適用于AI訓練、數據市場等場景，也為Web3生態系統中用戶數據的跨平臺互通與授權提供了一個新的解決方案，最終創建一個開放的互聯網生態系統，讓用戶擁有并管理自己的數據，以及由這些數據創造的智能產品。
5. Decentralization數據網絡的價值主張
數據科學家克萊夫·哈姆比（CliveHumby）在2006年說過數據是新時代的石油。近20年間，我們見證了"提煉"技術的飛速發展。大數據分析、機器學習等技術使得數據價值得到了空前釋放。根據IDC的預測，到2025年，全球數據圈將增長到163ZB，其中大部分將來自個人用戶，隨著IoT、可穿戴設備、AI與個性化服務等新興科技的普及，未來大量需要商用的數據將也將來源于個人。傳統方案的痛點：Web3的解鎖創新
Web3數據解決方案通過分布式Node網絡，突破了傳統設施的局限，實現了更廣泛、更高效的數據采集，同時提升了特定數據的實時獲取效率和驗證可信度。在此過程中，Web3技術確保了數據的真實性和完整性，并能有效保護用戶隱私，從而實現更公平的數據利用模式。這種Decentralization的數據架構，推動了數據獲取的民主化。
不管是OpenLayer和Grass的用戶Node模式，還是Vana通過用戶私有數據的貨幣化，除了提高特定數據采集的效率，也讓普通用戶共享數據經濟的紅利，創造一種用戶與開發者雙贏的模式，讓用戶真正掌控和獲益于他們的數據和相關資源。
通過Tokens經濟，Web3數據方案重新設計了激勵模型，創造了一個更加公平的數據價值分配機制。吸引了大量用戶、硬件資源與資本的注入，從而協調并優化了整個數據網絡的運行。
比起傳統數據解決方案，它們也擁有模塊化與可擴展性：比如Openlayer的模塊化設計，為未來的技術迭代和生態擴展提供了靈活性。得益于技術特性，優化AI模型訓練的數據獲取方式，提供更豐富、更多樣化的數據集。
從數據生成、存儲、驗證到交換與分析，Web3驅動的解決方案通過獨有技術優勢解決者傳統設施的諸多弊端，同時也賦予用戶對個人數據的變現能力，引發數據經濟模式的根本轉變。隨著技術進一步發展演進和應用場景的擴大，Decentralization數據層有望和其他Web3數據解決方案一起，成為下一代關鍵基礎設施，為廣泛的數據驅動型產業提供支持。