Úvod do RDMA (priamy vzdialený prístup do pamäte)

Introduction Rdma

čo je RDMA? Je skratka pre vzdialený priamy prístup do pamäte. Ak o nej chcete vedieť podrobné informácie, tak ste na správnom mieste. Tento príspevok od MiniTool hovorí hlavne o RDMA.

• Čo je RDMA?
• Ako funguje RDMA?
• Sieťové protokoly, ktoré podporujú RDMA
• Produkty a predajcovia, ktorí podporujú RDMA
• RDMA cez látky a budúce smery
• Spodná čiara

Čo je RDMA?

Na začiatok, čo je RDMA? RDMA je skratka pre vzdialený priamy prístup do pamäte. Ide o technológiu, ktorá umožňuje počítačom v sieti vymieňať si údaje v hlavnej pamäti bez zapojenia procesora, vyrovnávacej pamäte alebo operačného systému ktoréhokoľvek počítača. Pokračujte v čítaní a zistíte, že tento príspevok od MiniTool vám ponúka úplné informácie o RDMA.

Podobne ako lokálny priamy prístup do pamäte (DMA), aj RDMA môže uvoľniť zdroje, aby sa zvýšila priepustnosť a výkon. RDMA tiež pomáha zvýšiť rýchlosť prenosu dát a sieť s nízkou latenciou, čo je obzvlášť užitočné v masívne paralelných počítačových klastroch. A môže byť implementovaný pre sieťové a úložné aplikácie.

Ako funguje RDMA?

Ako potom funguje RDMA? RDMA podporuje sieť s nulovým kopírovaním tým, že umožňuje sieťovému adaptéru prenášať údaje priamo z drôtu do pamäte aplikácie alebo priamo z pamäte aplikácie do drôtu bez kopírovania údajov medzi pamäťou aplikácie a vyrovnávacími pamäťami údajov v operačnom systéme.

Takéto prenosy nevyžadujú, aby CPU, vyrovnávacie pamäte alebo kontextové prepínače vykonávali akúkoľvek prácu, a prenosy prebiehajú paralelne s inými systémovými operáciami. To znižuje latenciu pri prenose správ. Čo je lepšie, ak odosielacie aj prijímacie zariadenia podporujú RDMA, dialóg medzi nimi bude dokončený rýchlejšie ako podobné sieťové systémy bez RDMA.

Ak vaše aplikácie vyžadujú rýchle a masívne klastre paralelných vysokovýkonných výpočtov (HPC) a siete dátových centier, potom môžete zistiť, že RDMA je veľmi užitočné. RDMA môže byť užitočné aj pri analýze veľkých dát, v superpočítačových prostrediach, ktoré spracovávajú aplikácie, a pri strojovom učení, ktoré vyžaduje absolútne najnižšiu latenciu a najvyššie prenosové rýchlosti.

Táto stratégia má však určité problémy súvisiace s tým, že cieľový uzol nedostáva oznámenie o požadovanom dokončení (jednostranná komunikácia).

Sieťové protokoly, ktoré podporujú RDMA

RDMA na konvergovanom Ethernete. RoCE je sieťový protokol, ktorý podporuje RDMA cez Ethernet tým, že definuje výkon RDMA v takomto prostredí.Internetový širokopásmový protokol RDMAIWARP používa na prenos údajov protokol TCP (Transmission Control Protocol) alebo Stream Control Transmission Protocol (SCTP). Bol vyvinutý organizáciou Internet Engineering Task Force, aby umožnil aplikáciám na serveri priamo čítať alebo zapisovať do aplikácií, ktoré sa spúšťajú na inom serveri bez podpory operačného systému na oboch serveroch.InfiniBand. Pre vysokorýchlostné sieťové pripojenia InfiniBand je štandardný protokol RDMA. Tento sieťový protokol RDMA sa bežne používa na medzisystémovú komunikáciu a prvýkrát bol populárny vo vysokovýkonných výpočtových prostrediach. Pretože sa InfiniBand dokáže rýchlo pripojiť k veľkým počítačovým klastrom, vstúpil do ďalších prípadov použitia, ako sú prostredia veľkých dát, databázy, vysoko virtualizované nastavenia a webové aplikácie s veľkými požiadavkami na zdroje.

Produkty a predajcovia, ktorí podporujú RDMA

Od roku 2018 získalo RDMA širšiu akceptáciu vďaka implementácii vylepšených funkcií, dosahujúc lepší výkon ako bežná sieťová infraštruktúra, takže ktoré produkty a výrobcovia podporujú RDMA? Nižšie sú uvedené niektoré produkty a predajcovia:

• Analýza veľkých dát Apache Hadoop a Apache Spark
• Platforma Baidu Paddle (Parallel Distributed Deep LEarning).
• Adaptéry Broadcom a Emulex
• Rámec hlbokého učenia Caffe
• Ethernetové NIC Cavium FastLinQ série 45000/41000
• Platforma na ukladanie objektov Ceph
• ChainerMN Python založený na hlbokom učení open-source framework
• Adaptéry Chelsio Terminator 5 a 6 iWARP
• Servery Dell EMC PowerEdge
• Operačný systém FreeBSD
• Internetový súborový systém GlusterFS
• Procesory Intel Xeon Scalable a Platform Controller Hub
• Rodina sieťových adaptérov Mellanox ConnectX a prepínačov InfiniBand
• Microsoft Windows Server (2012 a vyšší) prostredníctvom SMB Direct podporuje sieťové adaptéry s podporou RDMA, virtuálny prepínač Hyper-V a súpravu nástrojov Cognitive Toolkit.

Môžete kliknúť na toto odkaz získať viac produktov a predajcov, ktorí podporujú RDMA.

RDMA cez látky a budúce smery

RDMA on Fabric je logickou evolúciou existujúcej architektúry zdieľaného úložiska, ktorá ťaží z polovodičovej a flash pamäte, čo zlepšuje výkon prístupu k zdieľaným údajom. Sieť RDMA využíva protokol ako RoCE, iWARP alebo InfiniBand na odosielanie údajov medzi adresným priestorom pamäte cez rozhranie, čo urýchľuje operácie a zvyšuje hodnotu investícií do aplikácií, serverov a úložného priestoru.

Šiesta generácia úložných sietí Fibre Channel – 32 gigabitov za sekundu – a PCI Express podporujú RDMA na základe rozhrania Fabrics.

Spodná čiara

Tento príspevok vám poskytol podrobné informácie o tom, čo je RDMA (priamy vzdialený prístup do pamäte). Okrem toho môžete poznať aj produkty a predajcov, ktorí podporujú RDMA, ako aj sieťové protokoly, ktoré podporujú RDMA.