Сети ЦОД завтрашнего дня:

быстрее, проще, умнее!

Скороходов Александр

Системный инженер-консультант

2

Как просто было жить раньше...

Layer 2

Layer 3

Доступ

Ядро

Распределение Layer 2

Layer 3

Доступ

Ядро

Сервисы

Агрегация

Кампус ЦОД

3

...и как всё изменилось сейчас

Layer 2

Layer 3

Доступ

Ядро

Распределение Layer 2

Layer 3

Доступ

Ядро

Сервисы

Агрегация

Кампус ЦОД

Виртуализация

Сетевые фабрики

Оверлейные сети

40G/100G

Конвергентный транспорт

Облачные вычисления

SDN

Сверхнизкая задержка

4

ТРЕБОВАНИЯ К

АРХИТЕКТУРЕ

РАЗЛИЧНЫЕ

ПОТРЕБНОСТИ

СФЕРЫ

ВНЕДРЕНИЯ

Потребности ЦОД нового поколения

• Масштабирование

• Управляемость

• Поддержка

виртуализации

• L2 и L3 фабрики

• Сегментация

транспорта

• Программные API

• Предсказуемое

поведение

• Мониторинг

НУЖНЫ: ПРОСТОТА, ЭФФЕКТИВНОСТЬ,

РАСШИРЯЕМОСТЬ

ОБЩЕГО НАЗНАЧЕНИЯ

ОБЛАКА И SP

WEB 2.0

HPC И HFT

Workload Mobility

Orchestration Visibility

Environmentals

Programmability

Open APIs

Higher Scale

Single Point oM

Time Sync

Non-blocking Low Latency

Сетевые подключения

6

Повышение производительности

• Причины

– Рост производительности процессоров

• Десятки ядер на сервер, многие десятки «ГГц»

– Виртуализация:

• Десятки VM на один хост – суммирование требований

– Конвергентный транспорт:

• Передача FCoE - производительность не менее 10Гбит/с

• Решения

– 10 Гбит/с до серверов (с сохранением эффективной поддержки 1Гбит/с!)

• Варианты подключения 10G: DAC, AOC, 10GBASE-T

– 40/100 Гбит/с на магистрали

• Требования к СКС

– Горизонтальное масштабирование производительности

• Cisco FabricPath, IETF TRILL

7

Кабель Задержка Потребление Расстояние Технология

Twinax ~0 ~0.1W 10m SFP+ CU Copper

MM 62.5mm MM 50mm

~0 1W 82m 300m

SFP+ SR short reach

MM OM2 MM OM3

~0 1W 10m 100m

SFP+ USR ultra short reach

Cat6 Cat6a/7 Cat6a/7

2.5ms 2.5ms 1.5ms

~6W ~6W ~4W

55m 100m 30m

10GBASE-T

100Mb 1Gb 10Gb

UTP Cat 5 UTP Cat 5

SFP Fiber

10Mb

UTP Cat 3

Mid 1980’s Mid 1990’s Early 2000’s Late 2000’s

X2

SFP+ Cu (BER better than 10 )

SFP+ Fiber Cat 6/7

1 8

10 Gigabit Ethernet варианты подключения серверов

8

Медные кабели SFP+ Direct Attach

● Спецификация: SFF-8431

● Называют DAC, 10G SFP+ Cu, CX1, 10G-CR...

● 2 пары твинаксиального кабеля

● Коннекторы установлены и протестированы на заводе

● Взаимозаменяемость с оптическими трансиверами SFP+

● Низкая стоимость, энергопотребление, минимальная

задержка

● Небольшая длина (до ~10м)

● Оптимально подходит для соединений внутри стойки или

группы стоек

● Поддерживаются на всех моделях Nexus: Nexus

2000/3000/4000/5000/7000

● Вариант: активные оптические кабели (AOC) (меньше

диаметр)

Коннекторы

SFP+

Сечение

Активный

оптический

кабель

9

10GBase-T 10 Gigabit по «витой паре»

• Стандарт: IEEE 802.3an

• Предпочтительный вариант для интегрированных адаптеров

в серверах: возможна совместимость с 10/100/1000

• До 100 метров (по СКС категории 6A или 7)

• Высокая сложность обработки -> высокое

энергопотребление (до 4-8 Вт на порт)

• Уровень ошибок (BER) до 10-12 - проблема для FCoE

• Решаются в новых поколениях микросхем/оборудования

• Поддержка FCoE уже сертифицирована на 5596T/2232TM-E

(до 30м)

• Поддерживается Nexus 2000/3000/5500/7000

10

Выскоскоростной Ethernet High Speed Ethernet: 40G/100G

• Стандарт IEEE 802.3ba - одобрен в июне 2010 г

• Утвержденные варианты интерфейсов 40G:

– 40GBASE-KR4: Соединения внутри устройств

– 40GBASE-CR4: 10 м по твинаксиальному кабелю – 4 x 10G

– 40GBASE-SR4 : 100 м по кабелю OM3 по 4 парам волокон

– 40GBASE-LR4(СWDM): 10 км по одномодовому волокну – 4λ x 10G

– Большие расстояния не стандартизованы

• Утвержденные варианты интерфейсов 100G

– 100GBASE-CR10 : 10 м по твинаксиальному кабелю – 10 x 10G

– 100GBASE-SR10: 100/125 м по кабелю OM3/OM4 по 10 парам

волокон

– 100GBASE-LR4(DWDM):10 км по одномодовому волокну – 4λ x 25G

– 100GBASE-ER4(DWDM):40 км по одномодовому волокну – 4λ x 25G

11

40G: 12F MTP коннектор

Высокоскоростной Ethernet внутри ЦОД Параллельные оптические жилы

100G: 24F MTP коннектор

12

QSFP+ трансиверы и передача 10/40G Гибкость и экономия

1 x QSFP+ обеспечивает замену 4 x 10G SFP+

(расстояние – до 100м на OM3) с меньшей ценой и

энергопотреблением

4 x QSFP+

- 160Gbps

12-fiber MPO

connector with

key on top

#1

#1

2

#1

#1

2

4 LC duplex connectors with latch on top

(unused channels 5 to 8 are cut)

#2

#1

1

#3

#1

0

#4

#9

~1.5W

QSFP+ SR

~1.5W

~1.5W

~1.5W

~1.5W

~1.5W

~1.5W

~1.5W

~1.5W

10G-SR 10G-SR

~1.5W

QSFP+ SR

Переходной кабель MTP12 – 4*LC

Cisco Nexus 6000

Cisco Nexus 2248PQ FEX

13

«Быстрее» ли сеть на 100G, чем на 40G или 10G? Не всегда...

48+16: 640G – 3:1 48+4:640G – 3:1 48+2: 680G – 2.4:1 384x10G = 3,840 96x40G = 3,840 32x100G = 3,200

16

10G 40G 100G

Spine 384x16 384x32 96x4 96x8 32x100 32x100

Leaf 48+16 (3:1) 32+32 (1:1) 48+4 (3:1) 32+8 (1:1) 48+2 (2.4:1) 32+4 (0.8:1)

Число

портов

384x16x3=

18,432

96x4x4x3=

12,288

4x96/4x48=

4,608

8x96/8x32=

3,072

2x32/2x48=

1,536

4x32/4x32=

1,024

Проблемы использования 40G/100G

Сокращение «ширины» уровня spine

Переход к Store-and-Forward – рост

задержки коммутации сравнительно с

Cut-Through (10G->10G)

Более высокая стоимость 100G портов

($/Gbps)

Преимущества 40G/100G?

Сокращение числа интерфейсов,

Уход от 10G port channels

Упрощение топологии

Сокращение задержки коммутации

для коммутаторов Store-and-Forward

14

• 40G (и 100G) – внутри ЦОД, 100G для связи ЦОД

• Подготовка СКС ЦОД к требованиям 40G:

• Многомодовое внедрение: 4 параллельных пары

• Коннектор MTP12: 1x 40G = 6 x 10G с точки зрения СКС

• Обратная совместимость с 10G – универсальные QSFP порты

• Расстояние ограничено 100 м для кабеля OM3 – не 300 м (как для 10G-SR)

• Внедрение 100G:

• Многомодовое внедрение: 10 параллельных пар (коннектор MTP24)

• Одномодовая оптика 100G: большие и энергоёмкие решения (могут уменьшиться в размерах и мощности в следующих поколениях)

• Обратная совместимость СКС:

• Патч-корды и патч-панели MTP <-> LC

• Патч-корды MTP24 – MTP12

• Поддержка на Nexus 3000, 6000, 7000

Применение 40G и 100G

Консолидация ввода-вывода

16

Консолидация ввода-вывода • Потребности

– Рост числа подключений к SAN

• Виртуализация с поддержкой мобильности и HA

• Кластерные системы

• Защита информации средствами СХД

– Большое числе интерфейсов LAN

• Требования виртуализированных внедрений

– Распространение блейд-систем

• Трудно обеспечить много интерфейсов

• Решения

– FCoE для SAN трафика

• Консолидация и сохранение полной совместимости с моделью FC

– DCB для обеспечения гарантий для FCoE трафика

• PFC, ETS, DCBX

– Adapter-FEX/IEEE802.1BR

• Доведение множества логических интерфейсов на уровень

ОС/гипервизора

17

• Метод передачи фреймов FC по Ethernet

• Выглядит как FC для серверов и сети

• Сохраняет текущую инфраструктуру

и управление FC

• Фрейм FC остается неизменным

• Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)

• Семейство стандартов IEEE DCB для «улучшенного» Ethernet

• Priority Flow Control: отсутствие потерь (аналог BB_Credits в FC)

• Enhanced Transmission Selection: выделение полосы

• DCB Exchange: согласование настроек и логическое состояние

Fibre

Channel

Ethernet

Fibre Channel over Ethernet (FCoE)

Cisco первой представила основанный на стандартах

коммутатор FCoE Cisco Nexus 5000

18

Nexus 4000

Nexus 2232

NX-OS & DCNM

Nexus 5548

Nexus 5596

MDS 9500

Nexus 7000

Директорный класс

Фиксированная

конфигурация

Коммутаторы Cisco с поддержкой FCoE

Nexus 6001

Nexus 6004

Nexus 2248-PQ

MDS 9700* MDS 9250i

*Будущее

19

FCoE: консолидация на уровне доступа

• Первый шаг – «консолидация доступа» («Unified Wire»)

• Существенная экономия при сохранении существующего

ядра сетей Ethernet и Fibre Channel

• Лежит в основе Cisco UCS

SAN A SAN B

10GE

Backbone

VF порты

VN порты (CNA)

20

Ethernet core

FCoE

Storage

DCB и FCoE

FCoE: консолидация в масштабах сети

Расширение консолидации ввода-вывода на магистраль

Сохранение изоляции SAN фабрик для отказоустойчивости

Поддержка систем хранения с подключением по DCB/FCoE

Теперь и для Cisco UCS (с релиза 2.1) !

VF

VN

VE порты

VE порты

Развитие архитектуры и

«сетевые фабрики»

22

Развитие архитектуры сети ЦОД Причины

Рост масштабов ЦОД

Масштабирование производительности

Управляемость

Растягивание подсетей

Виртуальные и физические нагрузки

Решения

Распределённый коммутатор доступа: архитектура FEX-Link

1G или 10G, SFP+ или «витая пара»

Продолжение внутрь сервера: Adapter-FEX, VM-FEX

Virtual Portchannel

Уход от Spanning Tree с сохранением общей топологии

Cisco FabricPath/IETF TRILL

«Маршрутизация на 2 уровне»

Горизонтальное масштабирование

Полное исключение Spanning Tree на магистрали

23

Распределённый

виртуальный модульный

коммутатор

(2000+ портов Ethernet)

+

Cisco Nexus® 2000 FEX

Cisco Nexus® 5500/6000

Cisco Nexus® 2000 FEX

Cisco Nexus® 7000

+

Виртуальное модульное шасси с FEX Nexus 5500/6000/7000 + Nexus 2000

• Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500/7000

• Единый конфигурационный файл

• Между FEX и Nexus 5500/7000 не используется STP

24

Fabric Extender(FEX) унификация уровня доступа

Access

Layer

Серверы

Agg

Layer

Core

Layer

L3

L2

VSS/vPC

Nexus 2000 Fabric Extender

Nexus

5500

• Поддержка Nexus 5000/5500, 7000 и UCS 6100 как

«материнских устройств»

• Сочетание моделей внедрения EoR, MoR, ToR

• Миграция к 10GE и FCoE подключениям серверов

• Сочетание типов кабелей (оптика и медь)

• Гибкость выбора головных устройств, типов FEX,

способа размещения и соединения

• Поддержка модулей для блейд-систем HP, Dell, Fujitsu

Медь/

Twinax

FET/Twinax

25

Почему модель «spine-leaf» (сеть Клоза)?

• Почему набирает популярность?

• Уход от STP!

• Дальнейшее развитие…

• Развитие масштабируемости и ускорение сходимости управляющих протоколов

• Повышение эффективности балансировки трафика

• Ограничение доменов отказов

• Популярный подход для болших операторов ЦОД

• Преимущества

• Высокая устойчивость к отказам (N:1)

• Высокая производительность

• Масштабируемость числа портов

• Сокращение числа

26

Технологии L2MP: FabricPath/TRILL Маршрутизация на L2 и уход от Spanning Tree

• «Ethernet матрица»:

• Полный уход от Spanning Tree

• Задействование всех путей

• Рост производительности и

надёжности путем увеличения

числа узлов и связей

• Принципиальное исключение

возможности бесконечных

«петель»

• Быстрая и надежная сходимость

• Стандартизация: IETF TRILL

• Решение Cisco: FabricPath

• Поддерживается на Nexus 5500/7000

• Простота настройки:

N7K(config)# interface ethernet 1/1

N7K(config-if)# switchport mode fabricpath

27

Cisco FabricPath ключевые возможности

• Маршрутизация на втором уровне – лучшее из двух миров

• Использование до 16 альтернативных путей (ECMP) – до 256

соединений!

• Поддержка архитектуры «Spine-Leaf» - горизональное

масштабирование производительности и снижение чувствительности

к отказам

• Независимость от Spanning-Tree Protocol (и его полное устранение

внутри сети): хорошая стабильность и сходимость

• Прямые/оптимальные пути трафика

• Выучивание MAC «по диалогам»: эффективное использование

таблиц

• Совместимость с «классическим» Ethernet

– VPC+ обеспечивает VPC в L2MP сеть

• Поддержка FEX для ещё большей

масштабируемости

• Простота настройки

• Продолжение возможностей IETF TRILL

Балансировка до 16 путей

28

Эволюция L2/L3 коммутации в фабрике

• FabricPath как замена STP

• Масштабирование FabricPath

• Локализация маршрутизации

• Внедрение Anycast FHRP

• Распределённая маршрутизация и коммутация

Та же модель подключения FEX : VPC, EVPC, VPC+ and EVPC+

VPC &

Single Homed FEXs EVPC EVPC+ EVPC+ EVPC+ EVPC+

Normalize FEX connectivity

Model

Scaled up FEX connectivity

Сетевая поддержка

виртуализации вычислений

30

Сетевая поддержка виртуализации вычислений

Проблемы:

Сетевая поддержка виртуализации: • Расширяет сеть до VM

• Общие с физическими

коммутаторами функции

сетевых сервисов

• Скоординированное с VM

управление

VMotion • Возможна «миграция» VM на

другой сервер. Политика должна

следовать вслед за VM

• Сеть «не видит» локально

коммутируемый трафик и не

может применить к нему политику

• Сеть не может выделить на порту

трафик конкретной VM

VLAN 101

• Изменение модели эксплуатации

31

Cisco Nexus 1000V Виртуальный распределенный программный коммутатор

• Nexus 1000V обеспечивает

полнофункциональную

коммутацию для VMWare

ESX (скоро и для MS Hyper-

V, далее – KVM, Xen)

• Ключевые возможности:

–Управление VM по политикам

– Функции безопасности,

поддержка Netflow, ERSPAN,

мультикаста, etherchannel

–Мобильность настроек сети,

безопасности и мониторинга

–Сохраняет эксплуатационную

модель

• Сохранение политик и связи

с сетью при миграции

виртуальных машин

VMW ESX

Server 1

VMware vSwitch Nexus 1000V

VMW ESX

VMware vSwitch Nexus 1000V

Server 2

Nexus 1000V

VM

#4

VM

#3

VM

#2

VM

#1

VM

#8

VM

#7

VM

#5

VM

#5

VM

#2

VM

#3

VM

#4

VM

#5

VM

#6

VM

#7

VM

#8

VM

#1

VM

#1

Virtual Center

Nexus 1000V

VSM

32

vCenter

Cisco

Nexus

1000V

VEM

Cisco

Nexus

1000V

VEM

Cisco

Nexus

1000V

VEM

V

M

V

M

V

M

V

M

V

M

V

M

V

M

V

M

V

M

V

M

V

M

V

M

Cisco Nexus 1000V VSM

vSphere ESXi vShpere ESXi vSphere ESXi

Server Server Server

Cisco Nexus 1000V для VMware vSphere

33

Cisco

Nexus

1000V

VEM

Cisco

Nexus

1000V

VEM

Cisco

Nexus

1000V

VEM

V

M

V

M

V

M

V

M

V

M

V

M

V

M

V

M

V

M

V

M

V

M

V

M

Cisco Nexus 1000V VSM

System Center 2012 Virtual Machine Manager

Windows Server Hyper-V Windows Server Hyper-V Windows Server Hyper-V

Server Server Server

Cisco Nexus 1000V для Microsoft Windows 2012 Hyper-V

*В настоящее время продукт доступен в бета-версии

34

Virtual Appliance Nexus 1100

VSM NAM VSG VSM

VEM-1 VEM-2

vPath vPath

vSphere Hyper-V

VSM: Virtual Supervisor Module

VEM: Virtual Ethernet Module

vPath: Virtual Service Data-path

VSG: Virtual Security Gateway

vWAAS: Virtual WAAS

ASA1000V: Adaptive Security Appliance

CSR1000V: Cloud Services Router

Virtual Blades

Virtual Supervisor Module(VSM)

Network Analysis Module (NAM)

Virtual Security Gateway (VSG)

Datacenter Network Manager (DCNM)

vWAAS VSG ASA1000V

vPath • Перенаправление трафика

• Кэширование политик

Экосистема Cisco Nexus 1000V

Citrix

NetScaler VPX

Imperva

SecureSpher

e WAF

CSR1000V

Новые тенденции развития Программируемые сети

36

Разное значение для разных заказчиков

– Программный доступ для приложений: аналитика и оптимальный транспорт

– Разделение коммутации и управления (пример: OpenFlow): экспериментальные протоколы и функции, «нарезка сетей»

– Виртуальные оверлейные сети: гибкость транспорта и сегментация для динамичных облачных сред

3

6

Программно-определяемые сети

Модели программируемых сетей

Control Plane

Data Plane

Controller

Data Plane

Applications

Vendor-

specific

APIs

OpenFlow

Control Plane

2b Гибридный “SDN”

CLI, SNMP, …

Controller

Data Plane

Applications

Vendor-

specific

APIs

OpenFlow

2a «Классический» SDN

Vendor

Specific

(e.g.

onePK)

Applications

Virtual Control Plane

Virtual Data Plane

Оверлейные

протоколы

(например,

VXLAN)

Vendor-

specific

APIs

3 Network Virtualization/

Virtual Overlays

Control Plane

Data Plane

Vendor-

specific

APIs

Applications

1 API для

программирования

Control Plane

Data Plane

Vendor

Specific

(e.g.

onePK)

Vendor

Specific

(e.g.

onePK)

Программируемые сети – на всех

уровнях

z Уровень коммутации

Уровень управления

Сетевые сервисы

Управление и оркестрирование

Транспорт

Network Elements and Abstraction

Analysis and Monitoring, Performance and Security

OpenFlow/ SDN

Application Developer Environment

Сбор

информации

из сети

Оптимальное программирование

38

a

Самый широкий портфель сетевых решений для ЦОД

Hardware + Software Physical + Virtual Network + Compute

Applications

www.cisco.com/go/one

Controllers

and

Agents

SDN: - Контроллер (OpenFlow, onePK)

- OpenFlow агенты

2

Virtual

Overlays

Open Clouds with

Nexus 1000V - Multi-hypervisor

- Multi-service

- Multi-cloud

- Поддержка Openstack

3

Network

Platform

APIs

One Platform Kit

(onePK) - Программные APIs к

сетевому

оборудованию (IOS,

IOS-XR, NX-OS)

1

Программно-определяемые сети: стратегия Cisco

… Presentation

Interface

and APIs

Marshall & Transport

Cisco Network Operating System (IOS, IOS-XE, IOS-XR, NX-OS)

Marshall & Transport

Управляющий канал

Программируемые сети – доступ через API Cisco OnePK

Уровень сетевой

абстракции

Уровень

представления с

различными

вариантами

интеграции с

языками

программирования

C Presentation

Interface

and APIs

Java Presentation

Interface

and APIs

Python* Presentation

Interface

and APIs

Приложения

Marshall & Transport

Marshall & Transport

Marshall & Transport

Element Utilities Developer Discovery Routing Policy Datapath

onePK Abstraction Interface

…

Первоначальные планы включают C и Java версии Presentation API

Будущие план включают Python и др

Реализация

сервисов

Операционня

система Cisco

Примеры сетевых абстракций Наборы сервисов OnePK

• API “Service Sets” delivered through Cisco’s onePK (one Platform Kit)

41

Base Service Sets

Element

• Element Capabilities

• Configuration Management

• Interface/Ports Events

• Location Information

Utilities

• Syslog Events and Queries

• AAA Interface

• Path Trace

Discovery

• Network Element Discovery

• Service Discovery

• Topology Discovery

Developer

• Debug Capabilities

• Tracing Interfaces

• Management Extensions

Data Path

• Packet/Flow Classifiers

• Copy/Punt/Inject

• Statistics

Policy

• Interface Policy

• Interface Feature Policy

• Forwarding Policy

• Flow Action Policy

Routing

• Read RIB Routes

• Add/Delete Application Routes

• RIB Events (Route up/down)

Контроллеры и агенты Контроллер Cisco ONE Controller

• Платформа для управления поведением сети – консолидация состояния для многих точек

• Существующие примеры применения:

Гибкая «нарезка» (“Slicing”) сетей

Диагностика проблем

Маршрутизация по правилам

OF oneP

K

oneP

K

OF

OpenFlow 1.x

Protocol

onePK API

Flow Management Forwarding Logic Device Management

Network Slicing

Applications (Cisco) Applications (Customer) Applications (3rd party)

Northbound API (REST, WebSockets, OSGi)

Controller built-in Applications B

uilt

-in G

UI

for

Ma

na

ge

ment

Apps/Applications

Network Troubleshooting

Controller Core Infrastructure

Southbound APIs (onePK, OneFlow,)

Custom Routing

Виртуальные оверлейные сети с Nexus 1000V

Nexus 1000V VEM (уровень коммутации)

OpenStack Quantum API

REST API

VXLAN

(16M

Segments)

vPath

(VXLAN

Aware)

Любой гипервизор (VMware, Microsoft, Opensource)

Tenant 1 Виртуальные

сервисы

(с vPath)

vWAAS

VSG ASA 1KV

vACE

Tenant 3

ASA 55xx

Физические

нагрузки

Физическая

сеть

(VLAN/L3)

Шлюз VXLAN

Универсальная функциональность для физических и виртуальных нагрузок

Nexus 1000V VEM (контроллер)

Виртуальные

нагрузки

Tenant 2

43

Спасибо!