aci multisite day-0 infrastructure configuration

14.01 2020 | by massimiliano

aci multisite day-0 infrastructure configuration Tutte le interfacce fisiche di collegamento tra gli Spine nodes e la rete Inter-Site […]

Tutte le interfacce fisiche di collegamento tra gli Spine nodes e la rete Inter-Site devono essere appartenenti a Cisco Nexus EX platform line cards (oppure di nuova generazione; generation-1 spine nodes non sono compatibili per questo utilizzo e possono essere usate solo per intra-fabric comunication);

APIC Fabric ID in un Multi-Site design può essere unico, oppure lo stesso valore ID può essere usato attraverso sites per un deployment di tipo greenfield oppure brownfield;

In uno scenario dove “shared GOLF” devices non sono rilasciati tra differenti sites, la raccomandazione è quella di mantenere il valore di Fabric ID = 1 attraverso tutti i sites; se invece “shared GOLF” è richiesto ci sono tre possibili scenari:

1) Auto-RT non è configurato: mantenere Fabric ID 1 attraverso tutti i sites

2) Auto-RT è abilitato ed i sites sono parte di un unico BGP ASN: mantenere Fabric ID 1 attraverso tutti i sites

3) Auto-RT è abilitato ed i sites sono parte di un unico BGP ASN: utilizzo di un unico valore di Fabric ID attraverso i sites

Il parametro ACI Multi-Site ID oppure il site-name (unico attraverso tutti i sites) è configurato direttamente via Multi-Site policy manager;

Il paramento ACI Multi-Site ID (non il site-name) non può essere cambiato dopo che è stato assegnato; per riconfigurare il Site-ID è necessario fare un clean wipe (pulizia) per ritornare alla factory default.

APIC site ID è differente da ACI Fabric ID;

La configurazione del Fabric TEP pool deve essere unica a mai in overlapping attraverso i sites;

Il Multi-Site control-plane e data-plane TEP dovrebbero essere ruotabili esternamente via ISN (Inter-Site Network);

Quattro tipi di TEP addressing bisogna configurare:

TEP-1: multi-POD data-plane TEP: configurare questo indirizzo direttamente in ogni APIC cluster in Cisco ACI 3.0 (mandatorio anche se Multi-POD fabric non sono inizialmente supportati in ACI Multi-Site design);

TEP-2: external data-plane multicast TEP (HER-ETEP): questo indirizzo è utilizzato come destination IP address per traffico BUM (broadcast, unknow, multicast) trasmesso attraverso le fabrics in head-end replication mode (HER mode);

TEP-3: external data-plane unicast TEP (DP-ETEP): questo indirizzo è utilizzato come anycast VTEP address per ogni POD e prevede la configurazione di un indirizzo per POD; questo stesso indirizzo è utilizzato come next-hop a livello di Spine locale per la raggiungibilità di ogni endpoint remoto. In Cisco ACI 3.0 lo stesso indirizzo può essere configurato come Multi-Site-ETEP e Multi-Pod data-plane TEP;

TEP-4: external control-plane TEP (CP-ETEP): questo indirizzo è utilizzato per formare le sessioni MP-BGP; prevede la configurazione di ununico IP address per ciascun Spine node.

Installare almeno due Spine nodes per Multi-Site MP-BGP peering (ridondanza); da notare che non tutti gli Spine nodes potrebbero aver bisogno di BGP-EVPN peering;

Si racccomanda l’utilzzo di un full-mesh BGP-EVPN peering invece di router-reflector (è una soluzione più semplice se si pensa ad esempio che FCS usa solo cinque sites supportati). BGP-EVPN full-mesh peering sia con IBGP che EBGP;

Quando invece un router reflector è impiegato, è possibile avere sessioni IBGP solo all’interno di un ASN (Autonomous System Number); EBGP continuerà ad utilizzare full-mesh tra ASNs; un Spine node può supportare entrambi i tipi di peering allo stesso tempo;

Quando si progetta un RR in alta affidabilità per N sites, è possibile creare una instanza RR in un Spine node all’interno di un site ed estenderla attraverso tre sites coprendo una HA per gli N sites, anzichè rilasciare una singola instanza RR in ognuno dei sites:

Utilizzo dei protocolli BGP e OSPF con la configurazione di parametri di default per Multi-Site ISN

Controllare che il valore di TTL (Time-To-Live) settato è abbastanza largo in caso di EBGP session (il valore di default = 16)

Assicurarsi che l’interfaccia sorgente per ISN BGP-EVPN session è configurato con il TEP control-plane (con la connessione conosciuta come infra L3-out assegnata alla corretta loopback connector)

Utilizzo di separate infra L3-out connection per GOLF e Multi-Site connectivity; la infra L3-out connection utilizzata per GOLF deve essere configurata direttamente in APIC (questa non può essere configurata via Multi-Site policy manager);

Verifica che la password BGP session sia la stessa tra i vari sites (se configurata)

Il valore di BGP community format è di tipo extended