Высокоскоростные последовательные интерфейсы: Serial RapidIO, InfiniBand

Введение

В эпоху больших данных, высокопроизводительных вычислений (HPC) и телекоммуникаций критически важны интерфейсы с высокой пропускной способностью, низкой задержкой и масштабируемостью. Традиционные шины (PCI, PCI‑X) уступили место последовательным дифференциальным интерфейсам, обеспечивающим:

• скорости от нескольких Гбит/с до сотен Гбит/с на линию;
• детерминированные задержки (микросекунды);
• поддержку тысяч узлов в сети;
• горячую замену и отказоустойчивость.

В статье рассмотрены два ключевых стандарта:

• Serial RapidIO (SRIO) — интерфейс для встраиваемых систем и телекоммуникаций;
• InfiniBand — магистральная сеть для суперкомпьютеров и ЦОД.

1. Serial RapidIO (SRIO)

1.1. Общая характеристика

• Разработчик: RapidIO Trade Association (RTA).
• Стандарт: IEEE 802.41, спецификации RapidIO.
• Назначение: межсоединение процессоров, FPGA, DSP, сетевых процессоров в встраиваемых системах.
• Скорость на линию (lane): 1,25; 2,5; 3,125; 5; 6,25 Гбит/с (поколения Gen1–Gen5).
• Топология: точка‑точка, звезда, дерево, многомерный куб.
• Применение:
  • телекоммуникационные шасси (4G/5G baseband);
  • бортовые вычислители (авиация, космос);
  • системы реального времени (РЛС, сонары).

1.2. Архитектура

• Узлы (Endpoints) — процессоры, FPGA, коммутаторы.
• Коммутаторы (Switches) — маршрутизация пакетов между узлами.
• Линии (Lanes) — дифференциальные пары (1×, 4×, 8×, 16×).
• Логические порты — абстракция физического соединения.

1.3. Физический уровень

• Дифференциальные сигналы (CML, LVDS).
• Кодирование: 8b/10b (Gen1–Gen3) или 64b/66b (Gen4–Gen5) для эффективности.
• Дальность: до 1 м (на плате), до 10 м (оптика).
• Разъёмы: MXM, FMC, мезонинные соединители.

1.4. Протокольная модель (уровни)

1. Физический уровень (PHY) — передача битов, синхронизация.
2. Транспортный уровень (Transport) — маршрутизация по ID узла.
3. Логический уровень (Logical) — форматы пакетов, управление потоком.
4. Прикладной уровень — сервисы (чтение/запись памяти, сообщения, прерывания).

1.5. Форматы пакетов

• Заголовок:
  • ID источника и приёмника;
  • тип пакета (NREAD, NWRITE, MSG, DOORBELL);
  • приоритет (QoS);
  • CRC.
• Полезная нагрузка: до 4 КБ (в зависимости от типа).
• Примеры типов:
  • NREAD/NWRITE — чтение/запись памяти удалённого узла;
  • MSG — передача сообщений (до 256 байт);
  • DOORBELL — асинхронное уведомление (аналог прерывания).

1.6. Ключевые механизмы

• Маршрутизация по ID — каждый узел имеет уникальный 8/16‑битный ID.
• Управление потоком (Flow Control) — окна скользящего типа, ACK/NAK.
• QoS — несколько виртуальных каналов с приоритетами.
• Отказоустойчивость:
  • дублирование путей (multi‑path);
  • контроль ошибок (CRC, повторная передача);
  • горячая замена узлов.
• Синхронизация времени — механизмы timestamp для распределённых систем.

1.7. Преимущества SRIO

• Низкая задержка (1–5 мкс для малых пакетов).
• Детерминизм — гарантированная доставка с QoS.
• Энергоэффективность — меньше линий, чем у параллельных шин.
• Масштабируемость — тысячи узлов в многомерной топологии.
• Поддержка RTOS — интеграция с VxWorks, QNX, Linux.

1.8. Ограничения SRIO

• Сложность проектирования (требует специализированных PHY и MAC).
• Ограниченная распространённость вне телекоммуникаций.
• Высокие затраты на сертификацию.

1.9. Примеры применения

• 5G‑модули (DU/CU в радиоподсистеме).
• Бортовые вычислители истребителей (F‑35, Eurofighter).
• Системы обработки сигналов (SONAR, LiDAR).

2. InfiniBand

2.1. Общая характеристика

• Разработчик: InfiniBand Trade Association (IBTA).
• Стандарт: IB Architecture Specification (актуальная версия — DDR/HDR/NDR).
• Назначение: кластерные сети, суперкомпьютеры, хранилища данных.
• Скорость на линию:
  • SDR: 2,5 Гбит/с;
  • DDR: 5 Гбит/с;
  • QDR: 10 Гбит/с;
  • FDR: 14 Гбит/с;
  • EDR: 25 Гбит/с;
  • HDR: 50 Гбит/с;
  • NDR: 100 Гбит/с.
• Топология: дерево (с коммутаторами), многомерный тор.
• Применение:
  • суперкомпьютеры (TOP500);
  • AI/ML‑кластеры (обучение нейросетей);
  • высокопроизводительные СХД.

2.2. Архитектура

• Канальные адаптеры (Channel Adapters):
  • HCA (Host Channel Adapter) — на стороне сервера;
  • TCA (Target Channel Adapter) — на стороне устройства (диск, GPU).
• Коммутаторы (Switches) — маршрутизация между портами.
• Кабели: медь (до 5 м), оптика (до 100 м).
• Подсистема управления (Subnet Manager, SM) — конфигурация сети.

2.3. Физический уровень

• Дифференциальные линии (PCIe‑подобные).
• Кодирование: 64b/66b, 128b/130b.
• Ширина линка: 1×, 4×, 12× (для HDR/NDR).
• Разъёмы: QSFP+, OSFP, CX7 (для NDR).

2.4. Протокольная модель (уровни IB)

1. Физический — битовая передача, синхронизация.
2. Канальный — адресация (LID, GID), контроль ошибок.
3. Сетевой — маршрутизация (DID, SL).
4. Транспортный — QPs (Queue Pairs), надёжность (RC, UD, UC).
5. Прикладной — API (verbs), RDMA, IPoIB.

2.5. Ключевые технологии

2.5.1. RDMA (Remote Direct Memory Access)

• Прямая передача данных между памятью узлов без участия CPU.
• Задержка < 1 мкс.
• Пропускная способность до 200 ГБ/с (для NDR).

2.5.2. QPs (Queue Pairs)

• Пара очередей (Send/Receive) для каждого соединения.
• Типы:
  • RC (Reliable Connected) — гарантированная доставка;
  • UD (Unreliable Datagram) — без подтверждения;
  • UC (Unreliable Connected) — между двумя узлами.

2.5.3. Подсистема управления (SA, SM)

• Назначение LID (Local ID) и GID (Global ID).
• Расчёт маршрутов (DFS, Fat Tree).
• Мониторинг состояния (SMARP).

2.5.4. QoS и многопутевая передача

• Виртуальные каналы (VLs) с приоритетами.
• MPP (Multi‑Path) — балансировка нагрузки.

2.5.5. Безопасность

• Шифрование на уровне адаптера (IPsec, MACsec).
• Изоляция виртуальных сетей (P_Keys).

2.6. Форматы пакетов

• IB Header:
  • LID источника/приёмника;
  • SL (Service Level);
  • P_Key (защита домена);
  • CRC.
• Payload: до 4 КБ (зависит от MTU).
• **CRC и E