Global Network Cloud Architecture - MPLS · 2020. 7. 10. · で、こんなことも考えてます：Global Network Cloud Architecture eNodeB セルサイトルーター MLS DC

© 2017 Nokia1

Global Network Cloud ArchitectureTelco Cloudのためのアーキテクチャ案

鹿志村康生 [email protected]

© 2017 Nokia2

• 多くのNetwork Functionがデータセンタの仮想化環境へ移行し始めている。

– vCPE, Firewall, NAT, IPSec Sec-GW, etc.– vEPC, vBNG, vPE, etc

• NFVではVNFを汎用サーバーの上で動作させるために通常の仮想化技術(Openstack/VMware/etc)を使用する。

• しかしNFVは通常のデータセンタワークロードとは異なる

– コンピュートとネットワーキングの最適化が必要

– ネットワーク/サービスの境界がLeafノードや仮想アプライアンスの所へ

テレコクラウドへの変革

アクセス

メトロ

メトロテレコクラウド DC

メトロ

コア

これまでの物理機器で提供されていた機能がVNFとしてテレコクラウド環境へ移行

© 2017 Nokia3

• どのように複数のテレコクラウドDCをコア/メトロに接続するのか?

– サービススケールの妥協無しに

– End-to-EndでのトラフィックエンジニアリングのAbilityを失わずに

– サービス間の接続の制限無しに

– DC/WANで方式が異なる場合にはそれによる余計なコストや複雑さ無しに

• 既存のReferenceソリューションでは全てのRequirementを満たすのは非常に大変かも。

– DC-GWがDC内(〜Server)のサービスとWAN側のサービスをStitch ?

– DC-GWがDC内のVXLANとWAN側のMPLS/SRのEncapを変換?

– SDNコントローラー/オーケストレーターは誰がどこまでの範囲を見るのか?

– End-to-EndでのTEは?

テレコクラウドにおけるチャレンジ

VNF LEAF DC-GWテレコDC１

SPINE

DC SDNコントローラー

WAN

WAN SDNコントローラー

VNFLEAFDC-GW SPINEテレコDC２

NFVオーケストレーター

DC SDNコントローラー

NFVオーケストレーター

Compute Compute

? ?

© 2017 Nokia4

が、結構大変は大変です。。既存アーキテクチャでもちゃんとやろうとしてます

IMS SDM MMETAS MSS S/P-GW

データセンター

DC HW (x86)

NFVI

E2E オーケストレーションワークフローマネジメント

リソースマネジメント

Southbound プラグインフレームワーク

アナリティクスサービスカタログ

OSS/BSS サービスフルフィルメント/アシュアランス/オーケストレーション

NS Appliances

App A

App B

…

VNFMDC SDN / Neutron / others VNF VIM等

NFVオーケストレーション

ポータル

VMware

VIM(CBIS)

OpenStack

VIM

コアメトロ

WAN SDNコントローラー

Virtual Networks Orchestration

DC-GW

© 2017 Nokia5

WAN

• シームレスなDCとWANのインテグレーション• DC間及びWAN越しでのネットワークエレメント/ワークロード間でのシームレスな接続性を、ネットワークノードへ最小限のタッチで提供

• オートメーション/進化したサービス設定• BGP SRによるオーバーレイトポロジーをどのような

Underlayネットワーク上にもフレキシブルに作成。

• Segment Routing Global Controller (SRGC) はEnd-to-Endのオーケストレーションを提供。アプリケーションエンドポイントをBGP-EVPNで発見しSR-TEポリシーをBGPコントロールプレーンにより自動的にプログラム。

• スタンダードベース、オープンで相互接続可能なSDNソリューション

• トランスポート、サービス、SR TEポリシーにはBGPコントロールプレーンを使用。

• データプレーンはまずはSR-MPLS及びMPLSoUDPから。次の段階としてSRv6を想定。

• Deployされたアプリケーションのユーザーポリシーは”Color”としてエンコード、適切なSR-TEパスの計算に使用される。

で、こんなことも考えてます：Global Network Cloud Architecture

eNodeB

セルサイトルーター

MLS

DC ControllerテレコDC1

物理LEAF

仮想LEAF(VRS/vSW)

LEAF

MPLS SRMPLSoUDP

MPLS SR e2e

Segment Routing Global Controller

NSP

VNFLeafDCGW

テレコDC2

Spine

VNF

VNF

VNF

DC-GWSPINE

モバイルバックホール

© 2017 Nokia6

Global Network Cloud Architecture

VNF Leaf DCGW

Data Center

Spine

WAN


VNFLeafDCGW

Data Center

Spine

SR-MPLS

Delivers seamless DC-WAN interconnectivity

• E2Eでのトランスポート(BGP-LU) とサービス(BGP EVPN)のBGPコントロールプレーン• DCとWANの境界を無くす• DC-GWをサービスプレーンから除外

• E2Eでのトラフィックエンジニアリング

• E2EでのSegment routingデータプレーン。最初はMPLS及びMPLS-over-UDPから。

• 統一されたGlobal SDNコントローラーでE2Eのトポロジーとサービスを把握

• DC内はポリシードリブンのSDNコントローラー(Nuage Networks VSP)

BGP

MPLSoUDP(必要に応じて)

NSP

主な特徴

© 2017 Nokia7

VNF/NFの接続パターンl IP Underlayに直接接続l SR policy Endpoint(VTEP的な)がVNF

l SR機能を持つ物理/仮想NF(サービスエッジルーター)等

l EVPNでのoverlayネットワークに接続

l SR policy endpointが Leaf/TORl物理アプライアンスNF等

l EVPNでのoverlayネットワークに接続

l SR policy endpointがコンピュートホストのvSwitch

l SR機能を持たないVNF

Compute

VNF(VM)

vSwitchSR Tunnel

SDNコントローラBGP

OF

NF

SR Tunnel

Leaf/TORSpine

BGPNF

SR Tunnel

Leaf/TORSpine

BGP

© 2017 Nokia8

• E2EのSR (TE)コントローラー• E2E SR TEポリシーのセットアップ及び最適化

– DC-to-DC– DC-to-WAN– バックホール–to-NFV POP

• オペレータードリブン又はOn-demand/dynamic TEポリシーのInstantiation

• 主な機能: – DC及びWANのトポロジー学習: BGP-LS、

BGP-LU– TEパスをInstallするためにBGP SRポリシーをアドバタイズ

– EVPNルートをモニターしE2Eの仮想サービス接続マップを管理する

• プログラマビリティ、オートメーション、最適化

Segment Routing Global Controllerの役割

VNF Leaf DCGW

Data Center

Spine VNFLeafDCGW

Data Center

Spine


NSP

eNodeB CSR MLS

MBH

VNF(vEPC)

Access LeafExit Leaf

NFV POP

Spine

WAN

© 2017 Nokia9

• VNFMがVNFをTEポリシーを指定してInstantiate。

– 例えばvNIC1とvNIC2はDisjoint Pathを使用、vNIC3はLow-latency Pathを使用、等

• それぞれのTagはSRポリシーの“color”と関連付けられる。

• “color”の情報はSRGCからVSD’(SDNポリシーマネージャー)へOpen APIでPublishされる。

• VSC(SDNコントローラー)は”color”をそれぞれのvNICのアドレスのBGP EVPNルートに入れてAdvertiseする。

ウォークスルー

VNF Leaf DCGWSpine

WAN


NSP

VNFMがVNFをvNICinterface=198.51.100.1は“blue”ポリシーを使用、としてInstantiate

VSC (SDNコントローラー)

RR

VSD (ポリシー

マネージャー)

VNFM

VIM SRGCが”color”の情報をPublish

VSCが”colored”のEVPNルートを生成

VNFのInstantiation

192.0.2.1

© 2017 Nokia10

ウォークスルーE2EのEVPNルートAdvertisement

VNF1 Leaf Spine

WAN

VSC

RR

VNF2LeafSpine

VSC

RR

EVPN-MPLS BGP RouteIP address: 198.51.100.1Mac address: xx:xx:xx:xx:xx:xxLabel: SLNext-hop: 192.0.2.1Color: blue

198.51.100.1 192.0.2.1

DCGW1 DCGW2



© 2017 Nokia11

EVPNルートの解決のためのBGP-LUルートのAdvertisement

VNF1 Leaf DCGW1Spine

WAN

VSC

RR

VNF2LeafDCGW2 Spine

VSC

RR

198.51.100.1 192.0.2.1

BGP RouteAFI 1, SAFI 1Prefix: DCGW2Next-hop: if1-address

BGP RouteAFI 1, SAFI 4Prefix: 192.0.2.1/32Label: L3Next-hop: DCGW2Prefix-SID attr (40)

Label-index: nTunnel-encap attr (23)

Tunnel type: 13 (MPLSoUDP)

BGP RouteAFI 1, SAFI 1Prefix: DCGW2Next-hop: if2-address

BGP RouteAFI 1, SAFI 4Prefix: 192.0.2.1/32Label: L1Next-hop: 192.0.2.1Prefix-SID attr (40)

Label-index: nTunnel-encap attr (23)

Tunnel type: 13 (MPLSoUDP)

BGP RouteAFI 1, SAFI 4Prefix: 192.0.2.1/32Label: L2Next-hop: DCGW1Prefix-SID attr (40)

Label-index: n


© 2017 Nokia12

ここまででE2EでのReachabilityを確保


WAN

VSC

RR

VNF2LeafDCGW2 Spine

VSC

RR

PayloadSLL3

IP dest=DCGW2

PayloadSLL2Lx

PayloadPayloadSLL1

IP dest=192.0.2.1

198.51.100.1 192.0.2.1

Payload

MPLSoUDPは BGP-LUルートがTunnel-encap=MPLSoUDPとなっている区間のみ。MPLSがそのまま通れない区間用(ex.DC内Switch等)


UDPUDP

© 2017 Nokia13

• SRGCはRRとPeerを張り、全てのLeafノードとDC-GWノードのBGP-LUルートを受信する。

– それぞれのDC及びDC内LeafへのReachability tableを持つため。

• SRGCはBGP-EVPNルートも受けることにより、サービスコネクティビティマップを把握する。

• これによりSRGCはトランスポートマップとその上に乗るサービスマップを併せて把握出来る。

– VNFとそのReachability– DC-GW– Leafノード

SRGCでのネットワークの把握


NSP

VNF1 Leaf Spine

WAN

VSC

RR

198.51.100.1 192.0.2.1

DCGW1

BGP RouteAFI 1, SAFI 4Prefix: 192.0.2.1/32Label: L1Next-hop: 192.0.2.1Prefix-SID attr (40)

Label-index: n



© 2017 Nokia14

SRGC上でSR TEポリシーを”Color”毎にテンプレートとして設定。

{Red: Objective: Low LatencyConstraints: SID Depth < 4Attributes: Bi-directionalActions: P2P}

{Blue: Objective: Minimize HopsConstraints: SID Depth < 4Attributes: Bi-directionalActions: P2P}

コントローラーでのポリシーテンプレート例Policy 1

Source=192.0.2.1Endpoint=..Segment list = {SID1, B.DCGW12.red, leaf-SID}

Policy 2Source=..Endpoint=192.0.2.1Segment list = {SID2, B.DCGW21.red, leaf-SID}

Policy 1Source=192.0.2.1Endpoint=..Segment list = {SID1, B.DCGW12.blue, leaf-SID}

Policy 2Source=..Endpoint=192.0.2.1Segment list = {SID2, B.DCGW21.blue, leaf-SID}


Binding SID途中経路を指定するSegment Listにmapされる

© 2017 Nokia15

BGP SRポリシールートのAdvertisement : E2E SIDリスト


WAN

VSC

RR

VNF2LeafDCGW2 Spine

VSC

RR


NSP BGP RouteAFI 1, SAFI 73<RD, endpoint=192.0.2.1, color=blue>Tunnel encap attribute: 23 (BGP Path Attribute)

Tunnel type: 15 (SR TE policy)Segment-list: SID2,B.DCGW21.blue,SIDn

SIDn SID1 SID2


© 2017 Nokia16

BGP SRポリシールートのAdvertisement : Binding SID

WANDCGW1 DCGW2

SID3SID4

SID1

SID5SID6SID7

SID2


NSP

BGP RouteAFI 1, SAFI 73<RD, endpoint=192.0.2.1, color=blue>Tunnel encap attribute (23)

Tunnel type: 15 (SR policy)BSID: B.DCGW21.blueSegment-list: SID3, SID4, SID1


© 2017 Nokia17

VNG2とVNF1間のTEパスが完成


WAN

VSC

RR

VNF2LeafDCGW2 Spine

VSC

RR

PayloadSL

SIDnB.DCGW21.blue

Payload

198.51.100.1 192.0.2.1

Payload

SID2UDP

IP dest=DCGW2

PayloadSL

SIDnSID1SID4SID3

SLSIDn

Payload

UDPIP dest=192.0.2.1


© 2017 Nokia18

同じ方法をVNF〜eNBサイトへ適用

eNodeB CSR MLS

CORE

RR

VNF (vEPC)

Access LeafExit Leaf Spine

RR

PayloadSL

BSID.MLS-CSRBSID.EL-MLS.red

Payload

198.51.100.1 192.0.2.1

Payload

SID2UDP

IP dest=Exit Leaf

PayloadSL

BSID.MLS-CSRSID1SID4SID3

SLSIDn

Payload

SID6SID5

AGG Router

• IGP based SR-MPLS

• BGP SR-TE Policy


© 2017 Nokia19

• テレコクラウドのためのEnd-to-Endでのアーキテクチャ案• 既存のソリューションにおける境界のオペレーションの複雑さやスケール等の制限を解決可能(かもしれない）ソリューション

• End-to-EndでのVNFアウェアなトラフィックエンジニアリングを提供• ネットワーク/サービスの境界を物理/仮想Leafへ拡張• コントローラーの内部実装以外は基本的にInteroperableな標準ベース、

BGPでトランスポート/サービスの情報を伝達

まとめ

<関連RFC/I-D(一部)>RFC 8277 BGP-LURFC 7432 EVPN-MPLSRFC 7510 MPLSoUDPdraft-ietf-idr-tunnel-encapsdraft-ietf-idr-segment-routing-te-policydraft-filsfils-spring-segment-routing-policy

Documents

Global Network Cloud Architecture - MPLS · 2020. 7. 10. · で、こんなことも考えてます：Global Network Cloud Architecture eNodeB セルサイトルーター MLS DC