Мрежова интерфейсна карта (NIC)

Вашият сървър има 100G портове, но вашата NIC поддържа само 10G. Поздравления - току-що платихте за честотна лента, която никога няма да използвате. Мрежовата интерфейсна карта е най-пренебрегваното тясно място в съвременния мрежов дизайн. Докато инженерите са обсебени от спецификациите на превключвателя и трансивъра, NIC тихо определя действителната пропускателна способност, която всеки сървър може да прокара. Това ръководство надхвърля основните дефиниции, за да обясни как работят мрежовите карти, какви типове съществуват и - най-критично - как да съпоставите вашата мрежова карта с правилнататрансивър, DAC кабел, илиAOCза максимална производителност.

 

 

Какво е мрежова интерфейсна карта?

Мрежова интерфейсна карта (NIC), наричана още мрежов адаптер или мрежов интерфейсен контролер, е хардуерът, който свързва сървър, работна станция или устройство за съхранение към мрежата. Той управлява преобразуването между данни в хост системата и сигнали по проводника или влакното -, като управлява всичко от капсулиране на рамка и проверка на контролна сума до обработка на прекъсвания и DMA трансфери.

Всеки NIC има уникален MAC адрес, записан във фърмуера, служещ за идентичност на устройството в мрежата от ниво 2. Ранните мрежови карти се доставят като самостоятелни PCI карти за разширение. Днес повечето потребителски компютри използват LAN{3}}върху-чип на дънната платка (LOM) за основна 1G свързаност. Но в центровете за данни и корпоративните среди, специализираните NIC карти остават от съществено значение, тъй като бордовите контролери просто не могат да осигурят пропускателната способност, възможността за разтоварване или плътността на портовете, които съвременните работни натоварвания изискват.

 

 

Как всъщност работи NIC: Отвъд „Изпращане и получаване“

Обяснението в учебника - „Мрежовите карти капсулират данни в рамки и ги изпращат“ - е технически правилно, но пропуска какво прави мрежовите карти ценни. Ето какво се случва под капака в модерен сървър NIC:

 

Обработка на рамки

От страната на предаване, NIC взема данни от мрежовия стек на OS, добавя Ethernet заглавки и CRC контролни суми, след което ги сериализира в електрически или оптични сигнали. От страната на приемането той обръща процеса, като проверява CRC и премахва заглавките, преди да предаде полезния товар на хоста.

 

Разтоварване на двигатели

Това е мястото, където NIC печелят парите си. Съвременните NIC разтоварват задачи, които иначе биха погълнали CPU цикли: TCP/UDP изчисляване на контролна сума, TCP сегментиране разтоварване (TSO), голямо разтоварване при получаване (LRO) и странично мащабиране при получаване (RSS), което разпределя входящия трафик между множество ядра на процесора. Без тези разтоварвания, 25G NIC може да насити процесорно ядро ​​само за обработка на пакети.

 

Байпас на ядрото с DPDK

Дори при разтоварване на хардуера, мрежовият стек на ядрото на ОС създава претоварване при екстремни скорости на пакети. Мрежовите карти, които поддържат DPDK (Data Plane Development Kit), позволяват на приложенията да четат и записват пакети директно от потребителското пространство, заобикаляйки изцяло ядрото. Това намалява латентността на-пакет от милисекунди до едно-цифрени микросекунди - изискване за високо-честотна търговия, 5G потребителски-функции на равнината и работни натоварвания на NFV, които повишават скоростта на-линия на 100G връзки.

 

DMA и Interrupt Coalescing

Вместо CPU да копира всеки пакет, NIC използва директен достъп до паметта, за да записва кадри директно в системната RAM. Обединяването на прекъсвания групира множество пакетни събития в едно прекъсване на процесора, което драстично намалява режийните разходи при високи скорости на пакети.

 

Поддръжка на виртуализация

Във виртуализирани среди SR-IOV (Single Root I/O Virtualization) позволява на един физически NIC да представя множество виртуални функции, всяка от които е присвоена директно на VM. Това заобикаля изцяло виртуалния превключвател на хипервайзора, като осигурява почти-гола-мрежова производителност на виртуални машини.

 

 

Типове NIC: Практическа класификация

 

По тип интерфейс - Това е, което определя вашето окабеляване

Тип порт на NIC	Конектор	Медия	Типична скорост	Максимално разстояние
RJ45 (Base-T)	RJ45	Cat5e/Cat6/Cat6a мед	1G / 2.5G / 5G / 10G	100m
SFP+	LC дуплекс	10G SFP+ трансивъриили 10GDAC кабели	10G	80 км (влакна) / 7 м (DAC)
SFP28	LC дуплекс	25G SFP28 трансивъриили 25G DAC	25G	40 км (влакна) / 5 м (DAC)
QSFP+	MPO или LC	40G QSFP+ трансивъри	40G	40 км (влакна) / 7 м (DAC)
QSFP28	MPO или LC	100G QSFP28 трансивъриили 100грDAC кабели	100G	80 км (влакна) / 5 м (DAC)
QSFP-DD	MPO или LC	400G QSFP-DD трансивъри	400G	10 км+ (влакна)

Защо това има значение:Типът NIC порт диктува кои трансивъри и кабели можете да използвате. Изборът на двоен-порт SFP28 NIC ви заключва в екосистемата SFP28 -Оптични модули 25G SFP28, SFP28DAC кабели, или SFP28AOC кабели. Изберете грешно и ще купувате адаптери или ще сменяте карти.

 

Бележка за MPO срещу LC конектори:Портовете QSFP+ и QSFP28, означени като "SR4", използват паралелна оптика - четири ленти от 10G или 25G, предавани едновременно. Това изискваMPO/MTP-12 пачкордис 8 или 12 влакнести ядра, а не стандартния дуплексLC кабелиизползвани от SFP+ или SFP28 модули. Ако внедрявате 40G или 100G SR4 оптика за първи път, вашата съществуваща инфраструктура с два-пач панела с влакна няма да работи - план за MPO магистрално окабеляване и касети.

 

Чрез шинен интерфейс - Генерирането на PCIe има значение

Всички съвременни сървърни NIC използват PCIe. Но PCIe поколението и ширината на лентата определят твърд таван на пропускателната способност:

• PCIe 3.0 x8:~64 Gbps - достатъчно за двоен-порт 25G или един-порт 40G
• PCIe 3.0 x16:~128 Gbps - достатъчно за един-порт 100G
• PCIe 4.0 x16:~256 Gbps - необходими за двоен-порт 100G или единичен-порт 200G
• PCIe 5.0 x16:~512 Gbps - позволява 400G NIC

100G NIC, включен в PCIe 3.0 x8 слот, физически не може да достави 100G. Винаги проверявайте поколението и ширината на PCIe слота на вашия сървър, преди да купите.

 

По форм фактор - OCP NIC 3.0 е новата по подразбиране

Традиционните PCIe допълнителни-карти все още доминират корпоративните сървъри, но хипермащабните центрове за данни до голяма степен преминаха към стандарта OCP NIC 3.0 (както Small Form Factor, така и Large Form Factor). OCP NIC се включват в специален мецанин слот на дънната платка на сървъра, вместо да заемат стандартен PCIe слот за разширение. Предимствата са значителни: възможност за гореща-смяна без изключване на сървъра, подобрен термичен дизайн с директен въздушен поток над NIC и по-къс електрически път до процесора, който намалява проблемите с целостта на сигнала при скорости от 100G+. Ако вашата сървърна платформа поддържа OCP 3.0 - и повечето модерни дизайни от големи ODM го правят -, това трябва да е първият ви избор за внедряване на 100G и 200G NIC.

 

По ниво на интелект

Стандартни NICобработва основна обработка на пакети с хардуерно разтоварване. Подходящ за повечето корпоративни приложения и центрове за данни.

SmartNICдобавете програмируем модул за обработка на данни (DPU), който може да изпълнява правила за защитна стена, криптиране, балансиране на натоварването и телеметрия директно на NIC, освобождавайки ядрата на процесора на хоста за натоварвания на приложенията. В облачната инфраструктура, където всяко процесорно ядро ​​се монетизира, SmartNIC плащат за себе си, като възстановяват ядра, които иначе биха работили с OVS или IPsec.

RDMA NIC (RNIC)поддържат протоколи за отдалечен директен достъп до паметта като RoCEv2 или iWARP, позволяващи прехвърляне на памет-към-сървър с едно-цифрено забавяне от микросекунди. В клъстерите за обучение на GPU, изградени около ускорители NVIDIA H100 или A100, RDMA NIC не са задължителни - те са гръбнакът. Всеки GPU възел се нуждае от 200G или 400G RDMA свързаност, за да не се-намалява градиентната синхронизация да се превърне в пречка за обучението. Отвъд AI, RDMA NIC са еднакво критични за работните натоварвания на HPC и системите за съхранение, работещи с NVMe-oF, където ядрото-заобикаля пътищата на данни намаляват забавянето на достъпа до хранилището с 10 пъти.

 

 

Как да изберем правилната мрежова карта: Рамка за вземане на решения

Стъпка 1 - Определете вашите изисквания за скорост.Съпоставете го с капацитета на превключвателя нагоре, а не с върховата си теоретична нужда. Ако вашият ToR комутатор има 25G сървър-портове, 25G NIC е правилният избор - не 10G (твърде бавен) или 100G (загубен).

Стъпка 2 - Изберете вашия тип интерфейс.За -връзки в шкаф под 5 метра сдвоете вашата NIC с aDAC кабелза най-ниска цена и латентност. За между-релгови връзки до 100 метра използвайте anAOC кабелили приемо-предавател с-къс обхватLC влакнест пачкорд. За връзки от сграда-до-сграда или кампус използвайте дълъг-обхватоптичен трансивър-, като например a100G модул QSFP28 LR4с едномодово-влакно иMPO/MTP пачкорди.

Стъпка 3 - Проверете съвместимостта с PCIe.Проверете наличното генериране на PCIe слот на вашия сървър и ширината на лентата спрямо изискванията на NIC.

Стъпка 4 - Оценете нуждите от разтоварване.Изпълнявате виртуализация с десетки виртуални машини? Дайте приоритет на поддръжката на SR-IOV. Клъстер за обучение на AI? Възможностите за RDMA не-подлежат на обсъждане. Облачни-родни микроуслуги? SmartNIC с програмируем конвейер спестява процесорни ядра.

Стъпка 5 - План за резервиране на двоен-порт.Производствените сървъри трябва винаги да имат поне два NIC порта за агрегиране на връзки (LACP) или активен-преход в режим на готовност. Мрежовите карти с двоен-порт са по--ефективни от две карти с един-порт.

 

 

Често срещани грешки в NIC (и как да ги избегнете)

Закупуване на 10G RJ45 NIC за използване в центъра за данни.10GBASE-T NIC консумират 2–5 W повече енергия на порт от SFP+ NIC и генерират значително повече топлина. В стелаж с 40 сървъра това е 80–200 W ненужно топлинно натоварване. Използвайте10G SFP+ трансивърис SFP+ NIC вместо това.

Игнориране на актуализациите на фърмуера и драйверите.Грешки във фърмуера на NIC причиняват безшумно изпускане на пакети, CRC грешки и влошаване на производителността. Доставчиците пускат критични корекции на фърмуера, които често не се прилагат, защото мрежовата карта „изглежда работи добре“.

Несъвпадение на скоростта на мрежовата карта и скоростта на превключвателния порт.25G мрежова карта, свързана към 10G превключвателен порт, ще -автоматично ще преговаря до 10G -, но някои мрежови карти се справят зле с това, което води до разпадане на връзката или CRC грешки. Винаги проверявайте съвместимостта на скоростите или използвайте подходящо оборудване.

 

 

Често задавани въпроси

Каква е разликата между NIC и LOM?

LOM (LAN на дънната платка) е основен мрежов контролер, интегриран в дънната платка на сървъра, обикновено предлагащ 1G или 10G Base{2}}T свързаност. Специална NIC карта осигурява по-високи скорости (25G–400G), разширени разтоварвания като SR-IOV и опции за оптичен интерфейс за използване с влакнатрансивърииDAC/AOC кабели.

Мога ли да използвам приемо-предаватели на трети-страни в моята мрежова карта?

да Повечето мрежови карти от Intel, Mellanox/NVIDIA и Broadcom приемат MSA-съвместими трети-страниоптични трансивъри. Някои мрежови фърмуери обаче може да показват предупреждения за съвместимост. Реномирани доставчици предоставят трансивъри, кодирани за специфични марки NIC, за да осигурят чиста работа.

Каква скорост на мрежовата карта ми е необходима за AI и натоварвания с машинно обучение?

За клъстери за обучение на GPU (NVIDIA H100, A100 или подобни), всеки възел обикновено изисква200Gили 400G RDMA-съвместими мрежови карти (RoCEv2), за да се предотврати блокиране на мрежата, всички-намаляване на градиентната синхронизация. Работните натоварвания за обслужване на изводи са по-малко взискателни и често могат да работят на 25G–100G в зависимост от размера на модела и пропускателната способност на заявката. Сдвоете тренировъчните NIC с400G QSFP-DD модулиза връзки на гръбначния стълб, или използвайте100G QSFP28 трансивъриза връзки-към-сървър в по-малки клъстери.

Заслужава ли си SmartNIC допълнителните разходи?

За облачни доставчици и големи предприятия, работещи с тежка мрежова виртуализация, да - SmartNIC могат да възстановят 4–8 CPU ядра на сървър чрез разтоварване на функциите за виртуално превключване, сигурност и телеметрия. За стандартно локално внедряване с-с умерена виртуализация обикновено е достатъчна стандартна NIC с поддръжка на SR-IOV.

Как да свържа NIC към оптичен кабел?

Мрежовите карти с SFP+, SFP28, QSFP28 или QSFP-DD портове изискват съвпадениеоптичен приемо-предавателен модулза взаимодействие с влакна. Поставете трансивъра в NIC порта, след което свържете подходящиявлакнест пачкорд - LC дуплексза SFP{0}}тип портове,MPO/MTPза паралелна оптика тип QSFP-. За връзки на къси-разстояния в стелажи, aDAC кабелелиминира нуждата както от трансивър, така и от оптично влакно.