More  

小編的世界 優質文選 地球

雲原生新邊緣:火山引擎邊緣計算最佳實踐


2022年1月23日 - 地球小編  
   

近期,在火山引擎雲產品發布會上,邊緣計算產品負責人沈建發在「新雲·預見趨“視”」分論壇分享了“雲原生新邊緣-火山引擎邊緣計算最佳實踐”的主題演講,介紹了火山引擎邊緣計算在字節跳動的場景實踐以及沉澱的邊緣計算雲平台相關技術與解決方案,並提出了邊緣計算新定義。

沈建發認為:

邊緣計算是指“用戶到雲中心之間所有的算力層”,包含現場邊緣、近場邊緣、雲邊緣三層

。而雲原生具備的松耦合理念、彈性、共享、自治、按需服務等特點,使

“雲原生新邊緣”能夠在應用資源上融合多種異構算力,在應用管理上支持更加靈活的編排調度,在應用服務上實現雲邊端一致的用戶體驗


互聯網時代數據的爆發式增長、5G 普及應用帶來的業務場景移動化、“直播+”與實時音視頻等邊緣剛需場景的湧現,無一不在加速邊緣計算的繁榮發展。作為新型基礎設施,邊緣計算在解決業務應用面臨的低時延、大帶寬、高並發、分布式部署上具備顯著優勢,越來越多的企業開始考慮將邊緣計算納入到應用架構的整體規劃之中。字節跳動也不例外。

字節跳動的業務發展需求



  

從2017年起,字節跳動陸續推出多款熱門應用,如早期的今日頭條,到後來的抖音、住小幫等,應用形態也從圖文、點播逐步走向更加實時的直播、實時音視頻、AR/VR。與此同時,業務對資源需求以及邊緣形態也隨之不斷革新。

早期,主要通過物理機在邊緣層構建內容分發網絡,實現應用圖文內容的高效分發和緩存;

當前,隨著視頻直播、實時音視頻業務的用戶覆蓋更加廣泛,單一的分發計算已經無法滿足業務對邊緣推拉流、轉碼、合流等多種業務的不同算力訴求;

未來,AR/VR、3D 視覺應用將越來越多,就近渲染、網絡、高性能算力也將成為業務發展的重要基礎能力。

另外,更加彈性的算力資源和更高效的全網一鍵部署能力開始成為新的需求。

早期,主要通過物理機在邊緣層構建內容分發網絡,實現應用圖文內容的高效分發和緩存;

當前,隨著視頻直播、實時音視頻業務的用戶覆蓋更加廣泛,單一的分發計算已經無法滿足業務對邊緣推拉流、轉碼、合流等多種業務的不同算力訴求;

未來,AR/VR、3D 視覺應用將越來越多,就近渲染、網絡、高性能算力也將成為業務發展的重要基礎能力。

另外,更加彈性的算力資源和更高效的全網一鍵部署能力開始成為新的需求。

隨著字節跳動整體業務體量迅速增長,如何保障所有終端用戶實時、一致性的體驗,是字節業務應用當時面臨的主要問題之一。面對多樣化資源和算力需求,字節跳動在原有的基礎架構上進行升級,重新定義了邊緣計算,並構建了新一代邊緣計算雲平台。

“新”邊緣計算

火山引擎邊緣計算:用戶到雲中心的所有邊緣算力層

火山引擎將邊緣計算定義為:從用戶到雲中心之間所有的算力層,包含:現場邊緣、近場邊緣、雲邊緣三層。

首先,“現場邊緣”,主要位於用戶現場或用戶自己的機房,覆蓋 1~5ms 時延範圍,可以將雲中心訓練好的模型算法和能力下沉到用戶的現場側,滿足超低時延的計算和網絡能力。現場邊緣主要應用於 AIoT、邊緣時序數據等實時性業務的典型場景。

其次,“近場邊緣”,主要位於全國二三四線城市或城區節點,覆蓋 5~20ms 時延範圍。目前近場邊緣主要在 CDN、視頻直播、實時音視頻、視頻監控和圖像處理等常見業務場景落地。

最後,“雲邊緣”,位於區域中心城市、提供多線及 BGP 匯聚節點,覆蓋 20-40ms 時延範圍,可以跟中心雲實現高效連接,為“現場邊緣和近場邊緣”提供匯聚能力等。目前雲邊緣在 CDN 合並回源、視頻直播的 L2 層轉發、離線渲染業務、數據並發處理業務等場景有廣泛應用。

首先,“現場邊緣”,主要位於用戶現場或用戶自己的機房,覆蓋 1~5ms 時延範圍,可以將雲中心訓練好的模型算法和能力下沉到用戶的現場側,滿足超低時延的計算和網絡能力。現場邊緣主要應用於 AIoT、邊緣時序數據等實時性業務的典型場景。

其次,“近場邊緣”,主要位於全國二三四線城市或城區節點,覆蓋 5~20ms 時延範圍。目前近場邊緣主要在 CDN、視頻直播、實時音視頻、視頻監控和圖像處理等常見業務場景落地。

最後,“雲邊緣”,位於區域中心城市、提供多線及 BGP 匯聚節點,覆蓋 20-40ms 時延範圍,可以跟中心雲實現高效連接,為“現場邊緣和近場邊緣”提供匯聚能力等。目前雲邊緣在 CDN 合並回源、視頻直播的 L2 層轉發、離線渲染業務、數據並發處理業務等場景有廣泛應用。

然而,在當前的多層算力結構下,如何保證海量異構終端無縫連接、中心能力有效下沉、雲邊端體驗一致以及邊緣節點的自治和全域資源的合理調度?為此,火山引擎邊緣計算團隊選擇了雲原生架構。

面向雲、邊、端混合部署的雲原生架構

雲原生架構主要是面向雲、邊、端混合部署的原生架構,其最大的優勢在於以更加松耦合的理念,在應用資源上融合不同的異構算力,在應用管理上支持更加靈活的編排調度,在應用服務上支持雲邊端一致的用戶體驗。同時,通過雲原生可以打通從設計、開發、集成、測試、發布、部署、運維、監控的產品全生命周期鏈路。

在雲原生的架構下,終端應用可以實現更輕量的應用形態和更友好的硬件支持,邊緣計算則提供更實時的服務響應和更精准的用戶覆蓋,而中心雲計算則能夠實現更高效的數據聚合和更敏捷的業務架構,最終達到雲、邊、端三位一體,協同一致的目標。

新一代邊緣計算雲平台

通過采用雲原生架構,火山引擎邊緣計算構建了新一代邊緣計算雲平台。邊緣計算雲平台整體采用一橫 N 縱的結構,一橫是指基於邊緣計算基礎設施打造的雲原生邊緣平台,N 縱指具象化的服務能力,如邊緣虛機、邊緣容器、邊緣網絡、邊緣函數和邊緣渲染等。

首先,在基礎設施層,根據邊緣算力的分布層級優選全國各省市豐富的邊緣資源和運營商網絡,並按地理位置部署優質的單線、多線和 BGP 的節點,結合多種架構的硬件設備,如:X86、ARM 服務器、智能網卡、GPU 等算力和網絡資源,打造面向異構算力的邊緣基礎設施底座。

其次,在平台層,基於邊緣基礎設施底座,火山引擎邊緣計算自研了雲原生邊緣平台,以面向邊緣雲原生的操作系統為核心,提供邊緣自治管理、核心系統組件管理以及大規模部署的鏡像服務能力。

第三,在資源服務層,邊緣計算團隊將雲原生邊緣平台模塊化,通過自研網絡組件提供多種功能,由此形成邊緣計算資源服務層,可以按需提供不同的邊緣能力,如:虛機、容器、網絡、函數、渲染等一系列服務。

最後,邊緣計算雲平台配合雲邊管理和數據管理模式,實現業務的全域智能調度、實時數據大屏,滿足內容分發、視頻直播、實時音視頻、雲遊戲等多個場景應用。

首先,在基礎設施層,根據邊緣算力的分布層級優選全國各省市豐富的邊緣資源和運營商網絡,並按地理位置部署優質的單線、多線和 BGP 的節點,結合多種架構的硬件設備,如:X86、ARM 服務器、智能網卡、GPU 等算力和網絡資源,打造面向異構算力的邊緣基礎設施底座。

其次,在平台層,基於邊緣基礎設施底座,火山引擎邊緣計算自研了雲原生邊緣平台,以面向邊緣雲原生的操作系統為核心,提供邊緣自治管理、核心系統組件管理以及大規模部署的鏡像服務能力。

第三,在資源服務層,邊緣計算團隊將雲原生邊緣平台模塊化,通過自研網絡組件提供多種功能,由此形成邊緣計算資源服務層,可以按需提供不同的邊緣能力,如:虛機、容器、網絡、函數、渲染等一系列服務。

最後,邊緣計算雲平台配合雲邊管理和數據管理模式,實現業務的全域智能調度、實時數據大屏,滿足內容分發、視頻直播、實時音視頻、雲遊戲等多個場景應用。

目前新一代邊緣計算雲平台已在字節跳動支持多個場景的業務實踐。

火山引擎邊緣計算最佳實踐

視頻直播

首先,視頻直播場景。

在視頻直播場景中,邊緣節點可以幫助業務實現直播流的就近分發和就近訪問,確保直播的低時延,降低中心帶寬壓力。同時,邊緣節點能夠支持實時彈幕的邊緣分發,在靠近觀眾側實現高效拉流,提升主播、觀眾雙向的直播體驗。

基於高質量的畫面訴求,低時延的轉碼也是直播場景中的關鍵因素,豐富、高性能的邊緣算力能夠滿足直播中不同業務的多樣化算力資源需求。此外,邊緣計算雲平台具備的 VF 直通功能可以減少虛擬化對網卡轉發能力的損耗,IPv4/ IPv6 雙棧、負載均衡、鏡像預熱等能滿足直播業務所需的主要功能和快速全域部署的能力,真正為用戶提供高清、流暢的直播互動和觀看體驗。

實時音視頻

第二,實時音視頻場景。

隨著視頻會議、在線教育等場景的普及,端到端之間實時互動的要求要越來越高。實時音視頻可以借助邊緣節點實現業務的就近接入,保證節點間低時延互聯互通,提供高速穩定的實時音視頻通信優質鏈路。同時,邊緣算力的彈性擴容能力能保障業務量突增時,視頻會議中長會話的通信質量,而邊緣計算 GPU 實例還可以滿足實時音視頻中的渲染需求。

在功能上,高性能負載均衡可以支持實時音視頻在邊緣節點內高效東西轉發,打通東西向流量。此外,多線、IPv4/ IPv6 雙棧等也為實時音視頻提供完整的能力保障,滿足多人連麥、多人視頻會議的低時延需求。



  

邊緣渲染

第三,邊緣渲染場景。

在邊緣渲染場景中,如常見的直播特效、家裝應用涉及的3D特效和VR看房等,在內容制作環節往往有大量的工程數據需要處理。邊緣計算可以基於設計師所在地理位置就近提供服務,縮短工程數據傳輸距離,有效降低網絡時延,提高業務渲染的實時性。

同時,通過全域節點的邊緣算力資源和智能調度,能滿足關鍵渲染任務的靈活切片,實現多節點並行渲染,提升渲染效率。

雲遊戲

第四,雲遊戲場景。

雲遊戲場景中,用戶對時延更加敏感。區別於端遊、頁遊、手遊和主機遊戲,雲遊戲的遊戲資源、運行、渲染都需要在雲端完成,相當於用戶在雲端玩遊戲。

雲遊戲業務依托全域覆蓋的邊緣異構算力,基於用戶地理位置的親和性,通過邊緣智能就近調度,實現遊戲指令毫秒級交互。同時,結合高密度的 ARM 集群、GPU 算力、彈性擴縮容、資源隔離等功能,支持多個雲遊戲實例並發運行,為終端用戶提供無設備限制、穩定、高品質、超低時延的遊戲體驗。

邊緣函數

最後,邊緣函數場景。

常見的邊緣函數場景如:瀏覽器性能優化、頁面個性化內容的生成、A/B測試和邊緣鑒權的處理等,為了降低程序部署和批量發布的時間、成本以及用戶的編程門檻,邊緣函數支持 Java 調用瀏覽器運行時 API,可快速編寫代碼或調用通用模板,實現一鍵式全球下發部署。

同時,邊緣函數能夠快速響應客戶的 Http 請求,就近調度到邊緣節點執行,整個啟動時間可控制在3-5ms;還能夠配合 CDN 實現如:鑒權、邊緣定制應用等服務;以及源站撥壓測的探針,如 A/B 測試等;實現業務的快速分析和決策。

另外,當節點的客戶端請求數量激增時,平台還支持將請求有序調度至周邊充足的計算節點處理,實現快速、高效的擴容和調度的自動化管理,並通過提供更細粒度的彈性資源,實現多租戶函數工作流環境隔離。

新品首發:火山引擎邊緣計算節點服務

經過字節跳動的多個場景實踐,邊緣計算雲平台解決方案逐步完善,並對外發布了第一款產品——邊緣計算節點。通過長期打磨,邊緣計算節點也在資源、產品、性能和服務等多方面有所沉澱。

節點豐富:基於覆蓋全國各省市和運營商的邊緣節點,提供更低時延、更高性能、穩定可靠的計算資源,實現業務應用更靠近用戶側的部署和服務;同時,邊緣計算節點還具備超大規模分布式算力單元,能夠提供單線、多線、BGP 等多種網絡形態,滿足不同場景的業務訴求。

功能完備:支持 VPC 私有網絡、彈性公網 IP、高性能負載均衡、防火牆、IPv4/IPv6 雙棧等多種特性,提供開關自定義限速、VF 直通功能等滿足業務的按需、彈性使用體驗 。另外,邊緣計算節點的一鍵開通、鏡像預熱、自定義雲報警、一鍵分發等特性功能,有助於幫助業務減少部署和運維成本。

極致性能:在硬件上,邊緣計算節點優選新一代至強系列鉑金處理器,100G/25G 智能網卡,提供高效計算和網絡轉化能力;同時采用 SPDK 技術優化磁盤 IO,並提供 NVMe SSD 高效雲盤和本地盤;邊緣計算團隊自研的高性能網絡套件,目前也已實現邊緣單實例 PPS 超 500W 的優異性能。

優質服務:在服務上,火山引擎邊緣計算還沉澱了大型流量業務保障體系,如:2021央視春晚抖音紅包/818抖音新潮好物節等,邊緣計算雲平台經過大規模、海量業務的流量考驗,形成了先進的自動化運維能力和完善的監控和服務體系,為業務保駕護航。

節點豐富:基於覆蓋全國各省市和運營商的邊緣節點,提供更低時延、更高性能、穩定可靠的計算資源,實現業務應用更靠近用戶側的部署和服務;同時,邊緣計算節點還具備超大規模分布式算力單元,能夠提供單線、多線、BGP 等多種網絡形態,滿足不同場景的業務訴求。

功能完備:支持 VPC 私有網絡、彈性公網 IP、高性能負載均衡、防火牆、IPv4/IPv6 雙棧等多種特性,提供開關自定義限速、VF 直通功能等滿足業務的按需、彈性使用體驗 。另外,邊緣計算節點的一鍵開通、鏡像預熱、自定義雲報警、一鍵分發等特性功能,有助於幫助業務減少部署和運維成本。

極致性能:在硬件上,邊緣計算節點優選新一代至強系列鉑金處理器,100G/25G 智能網卡,提供高效計算和網絡轉化能力;同時采用 SPDK 技術優化磁盤 IO,並提供 NVMe SSD 高效雲盤和本地盤;邊緣計算團隊自研的高性能網絡套件,目前也已實現邊緣單實例 PPS 超 500W 的優異性能。

優質服務:在服務上,火山引擎邊緣計算還沉澱了大型流量業務保障體系,如:2021央視春晚抖音紅包/818抖音新潮好物節等,邊緣計算雲平台經過大規模、海量業務的流量考驗,形成了先進的自動化運維能力和完善的監控和服務體系,為業務保駕護航。

目前,邊緣計算節點服務已正式發布,並在 CDN、視頻直播、實時音視頻、雲遊戲、AR/VR 等多個場景落地。未來,火山引擎邊緣計算將陸續開放更多產品能力,也希望攜手各界合作夥伴一起,在智慧城市、工業互聯網、智慧交通、影視等行業探索更多可能性,共創邊緣新生態。