過去二十多年網(wǎng)絡發(fā)生了很多的變化。數(shù)據(jù)中心物理拓撲方面，由接入-匯聚-核心三級網(wǎng)絡架構演進到Spine-Leaf兩級架構；軟件方面，出現(xiàn)了各種各樣的網(wǎng)絡虛擬化，例如軟件實現(xiàn)的虛擬網(wǎng)橋、虛擬機交換機、虛擬路由器、軟件overlay網(wǎng)絡等。
很多新的概念和模型，例如軟件定義網(wǎng)絡（SDN）的轉發(fā)與控制分離思想，實現(xiàn)上可以像Google一樣基于OpenFlow，可以是后來用的比較多的BGPEVPN；另外還有Spine-Leaf中的分布式網(wǎng)關概念；還有大二層網(wǎng)絡與純三層路由網(wǎng)絡等等概念。
具體一些的話如bare metal集群可能會采用DHCP加扁平二層（flatL2）網(wǎng)絡；虛擬機應用比較有代表性的OpenStack平臺，采用的是Neutron+OVS大二層網(wǎng)絡；Docker內置的典型網(wǎng)絡模型是宿主機內的bridge加出宿主機的SNAT，并定義了CNM網(wǎng)絡模型；Kubernetes定義了CNI網(wǎng)絡規(guī)范，符合這個規(guī)范的實現(xiàn)有我們現(xiàn)在所熟悉的Flannel、Calico、Cilium等等。
這么多的網(wǎng)絡方案，或者說網(wǎng)絡架構和解決方案在不斷演進。這種不斷增長的計算規(guī)模來我們如何高效地進行數(shù)據(jù)的轉發(fā)、跟蹤、安全分析等。
eBPF的應用
Linux 內核一直是實現(xiàn)監(jiān)控/可觀測性、網(wǎng)絡和安全功能的理想地方。不過很多情況下這并非易事，因為這些工作需要修改內核源碼或加載內核模塊， 最終實現(xiàn)形式是在已有的層層抽象之上疊加新的抽象。eBPF 是一項革命性技術，它能在內核中運行沙箱程序（sandbox programs）， 而無需修改內核源碼或者加載內核模塊。
將 Linux 內核變成可編程之后，就能基于現(xiàn)有的（而非增加新的）抽象層來打造更加智能、 功能更加豐富的基礎設施軟件，而不會增加系統(tǒng)的復雜度，也不會犧牲執(zhí)行效率和安全性。
eBPF 催生了一種全新的軟件開發(fā)方式�；谶@種方式，我們不僅能對內核行為進行 編程，甚至還能編寫跨多個子系統(tǒng)的處理邏輯，而傳統(tǒng)上這些子系統(tǒng)是完全獨立、 無法用一套邏輯來處理的。
1、安全
觀測和理解所有的系統(tǒng)調用的能力，以及在 packet 層和 socket 層次審視所有的網(wǎng)絡操作的能力， 這兩者相結合，為系統(tǒng)安全提供了革命性的新方法。以前，系統(tǒng)調用過濾、網(wǎng)絡層過濾和進程上下文跟蹤是在完全獨立的系統(tǒng)中完成的；eBPF 的出現(xiàn)統(tǒng)一了可觀測性和各層面的控制能力，使我們有更加豐富的上下文和更精細的控制能力， 因而能創(chuàng)建更加安全的系統(tǒng)。
2、網(wǎng)絡
eBPF 的兩大特色 —— 可編程和高性能 —— 使它能滿足所有的網(wǎng)絡處理需求�？删幊桃馕吨鵁o需離開內核中的包處理上下文，就能添加額外的協(xié)議解析器或任何轉發(fā)邏輯， 以滿足不斷變化的需求。高性能的 JIT 編譯器使 eBPF 程序能達到幾乎與原生編譯的內核態(tài)代碼一樣的執(zhí)行性能。
3、跟蹤 & 性能分析
eBPF 程序能夠加載到 trace points、內核及用戶空間應用程序中的 probe points， 這種能力使我們對應用程序的運行時行為（runtime behavior）和系統(tǒng)本身 （system itself）提供了史無前例的可觀測性。應用端和系統(tǒng)端的這種觀測能力相結合， 能在排查系統(tǒng)性能問題時提供強大的能力和獨特的信息。BPF 使用了很多高級數(shù)據(jù)結構， 因此能非常高效地導出有意義的可觀測數(shù)據(jù)，而不是像很多同類系統(tǒng)一樣導出海量的原始采樣數(shù)據(jù)。
4、觀測 & 監(jiān)控
相比于操作系統(tǒng)提供的靜態(tài)計數(shù)器（counters、gauges），eBPF 能在內核中收集和聚合自定義 metric， 并能從不同數(shù)據(jù)源來生成可觀測數(shù)據(jù)。這既擴展了可觀測性的深度，也顯著減少了整體系統(tǒng)開銷， 因為現(xiàn)在可以選擇只收集需要的數(shù)據(jù)，并且后者是直方圖或類似的格式，而非原始采樣數(shù)據(jù)。
容器網(wǎng)絡
容器也被稱為輕量級虛擬機，所以它的很多 網(wǎng)絡需求與虛擬機類似，但部署密度高了一個數(shù)量級。典型的容器平臺有Mesos、Kubernetes等。
1、二層網(wǎng)絡模型
在傳統(tǒng)二層模型的基礎上，將虛擬機換成容器，如下圖所示：
如果沒有一些很特殊的業(yè)務需求，只是單純基于已有二層網(wǎng)絡實現(xiàn)這樣一套容器方案，其技術難度和開發(fā)量都不是很大，例如，如果要將Kubernetes接入OpenStackNeutron網(wǎng)絡，開發(fā)一個針對Neutron+OVS的CNI插件就可以了。
但前面提到，這種globalIPAM+centralgateway方案中，核心交換機需要記錄每個實例的IP/MAC信息，再考慮到容器的部署密度，可以預見的是，交換機硬件表項將撐不住。
在實際的應用中，除了硬件交換機表現(xiàn)出瓶頸，在軟件上，其實globalIPAM也已經無法在性能上滿足容器頻繁的漂移、創(chuàng)建、銷毀的需求了。所以大二層網(wǎng)絡方案在軟件和硬件上都已經陷入了困境。
2、避免網(wǎng)絡瓶頸
如何在物理網(wǎng)絡上支撐幾十萬以上的容器？顯然，最重要的一點就是不能讓核心交換機記錄所有的容器的信息 IP 信息。
主流的設計方式有：
在每個node內用虛擬路由器（vrouter）替換虛擬交換機（vswitch），將整張大二層網(wǎng)絡拆分成眾多的小二層網(wǎng)絡；
每個node管理一個網(wǎng)段，負責該節(jié)點內容器IP的分配和回收，即從原來的globalIPAM變成了localIPAM；
每個節(jié)點內是一個二層域，節(jié)點內容器之間走交換（bridging/switching）；
跨節(jié)點就是跨二層域，需要走路由（routing）；每個節(jié)點內運行一個BGPagent，負責節(jié)點之間或節(jié)點和數(shù)據(jù)中心網(wǎng)絡之間的路由同步。
核心交換機就只需要記錄node本身的IP和它管理的網(wǎng)段，表中重新回到與宿主機數(shù)量同一量級，而與容器的數(shù)量沒有直接關系。IPAM從中心式變成了分散式，性能瓶頸也解決了。
云原生網(wǎng)絡
最近兩年較為流行的網(wǎng)絡方案為：Cilium+BGP。Cilium的核心基于eBPF，這是4.8內核引入的一項革命性技術：它使得內核變得可編程。這里可編程的意思是，以前要改變內核行為，需要修改內核代碼、編譯調試、重新打鏡像、安裝運行等等，而且還要維護自己的內核分支，現(xiàn)在可能寫幾行eBPF代碼然后動態(tài)加載到內核就能實現(xiàn)同樣的效果。
Cilium的組件如上圖所示，主要包括：
cilium-agent：每臺node上跑一個，同時監(jiān)聽k8sapiserver和ciliumkvstore。
ciliumkvstore：存儲cilium的一些全局狀態(tài)，例如identity。
cilium-operator：每個集群一個，圖中沒畫出來，在公有云上承擔IPAM的功能。
eBPF目前主要用在兩個方向：動態(tài)跟蹤（tracing）和網(wǎng)絡（networking）。有了eBPF/XDP之后，我們可以看到數(shù)據(jù)平面處理（dataplaneprocessing）有一個趨勢：
早期基于內核協(xié)議棧處理，更多地以功能為主；
前些年內核到達性能瓶頸，于是一些團隊嘗試將部分網(wǎng)絡處理放到用戶態(tài)，預留專門的、獨享的網(wǎng)卡、CPU、內存等資源來收發(fā)包，例如DPDK；
最近幾年開始重新回到內核。比較有代表性的是Facebook的L4LBKatran，用eBPF/XDP重新之后比原來基于IPVS的版本快了10倍，性能已經和DPDK一個量級，，而且還可以復用內核已有的基礎設施和生態(tài)。而用戶態(tài)方式最大的問題之一是原有的網(wǎng)絡工具幾乎都失效了，并且沒有通用的L4-L7協(xié)議棧支持。
總結
計算模型驅動下的網(wǎng)絡發(fā)展是復雜的，涉及到很多因素，最終都是業(yè)務需求和網(wǎng)絡層的反映，在計算規(guī)模的角度上如何平衡網(wǎng)絡、穩(wěn)定、安全、效率等。
經營性網(wǎng)站備案信息
可信網(wǎng)站信用評價
網(wǎng)絡警察提醒您
誠信網(wǎng)站
中國互聯(lián)網(wǎng)舉報中心
網(wǎng)絡舉報APP下載
