Подробное объяснение различий между PCIe 5.0 и PCIe 6.0

Эпиграф: От 32ГТ/с до 64ГТ/с может показаться всего лишь удвоением скорости, но за этим стоит полная трансформация технической трассы.

Введение: больше, чем просто удвоение скорости

После стольких лет работы в индустрии серверов искусственного интеллекта и центров обработки данных мне чаще всего задают вопрос: в чем реальная разница между PCIe 5.0 и 6.0? Разве это не удвоение скорости?

Каждый раз, когда я слышу этот вопрос, мне приходится разъяснить его всем: обновление PCIe 5.0 до 6.0 гораздо более драматично, чем предыдущие поколения. С 3.0 на 4.0 и с 4.0 на 5.0, хотя скорость также увеличилась вдвое, технический маршрут остался в основном тем же — в обоих использовалось кодирование NRZ и аналогичные архитектуры эквализации. А вот с 5.0 на 6.0 полностью заменена вся техническая основа физического уровня.

Чтобы помочь всем понять, насколько тщательным является это обновление, я составил подробное сравнение, которое легко понять и не нужно долго думать.

Во-первых, вот таблица сравнения основных параметров, чтобы вы могли сразу увидеть различия:

Далее я подробно раскрою, что стоит за каждым из этих различий, используя простой язык — без непонятного жаргона, поэтому я гарантирую, что каждый сможет это понять.

1. Метод кодирования: фундаментальный переход от NRZ к PAM4

В этом основная разница между двумя поколениями, и как только вы поймете это, вам будет легко уловить все остальные различия.

PCIe 5.0 и все предыдущие версии используют кодировку NRZ, также известную как кодировка без возврата к нулю или сокращенно PAM2. Проще говоря, он отправляет 1 бит за единицу интервала (в просторечии «каждое короткое время передачи») — либо 0, либо 1. Глазковая диаграмма сигнала (которую можно рассматривать как диаграмму «четкости» сигнала) — это большой «глаз», который очень интуитивно понятен.

Однако PCIe 6.0 впервые использует кодировку PAM4 (четырехуровневую импульсно-амплитудную модуляцию). Его преимущество состоит в том, что он может отправлять 2 бита за единичный интервал, что соответствует четырем уровням: 00, 01, 10 и 11. В результате глазковая диаграмма сигнала становится тремя маленькими «глазами», сложенными вместе, что эквивалентно размещению вдвое большего количества информации за тот же промежуток времени.

Многие могут спросить: как PAM4 может удвоить скорость без увеличения частоты?

На самом деле все довольно просто: частота Найквиста PCIe 5.0 составляет 16 ГГц (половина от 32 ГТ/с). После того, как PCIe 6.0 принимает PAM4, хотя скорость увеличивается вдвое до 64 ГТ/с, частота Найквиста остается 16 ГГц, поскольку она передает 1 дополнительный бит за единицу интервала. Это означает, что основная частота сигнала не меняется, поэтому требования к частоте для печатной платы (PCB) и разъемов существенно не увеличиваются, а расстояние передачи может быть таким же, как у 5.0, без необходимости изменения конструкции аппаратной передачи.

Но бесплатного обеда не бывает — у PAM4 есть и свои недостатки, которые нам необходимо прояснить:

1. Ухудшенная четкость сигнала: общая амплитуда напряжения фиксирована, и каждый из трех «маленьких глазков» PAM4 составляет лишь одну треть высоты «большого глаза» NRZ. Теоретически четкость сигнала (отношение сигнал/шум) у PAM4 примерно на 9,5 дБ хуже, чем у NRZ, что просто означает, что он более восприимчив к помехам.

2. Слабая защита от помех. Будь то помехи в источнике питания, перекрестные помехи между сигналами или отражение сигналов, все они с большей вероятностью вызывают битовые ошибки (ошибки передачи данных) в системе PAM4.

3. Более сложное тестирование. Раньше для тестирования сигналов требовалось измерить только один «большой глаз», но теперь нам приходится измерять три «маленьких глаза» и обращать внимание на новые показатели, такие как линейность (RLM), что значительно увеличивает сложность и стоимость тестирования.

2. Структура потока данных: режим Flit обязателен.

PCIe 5.0 по-прежнему использует старый метод: кодирование 128b/130b, у которого «накладные расходы» составляют около 1,5% (это означает, что при передаче данных вам придется отправить немного дополнительного ненужного вспомогательного контента). Он также поддерживает пакеты TLP (пакеты данных для передачи) разных размеров, режим, называемый «Non-Flit». Каждый «пакет» имеет свою собственную проверку (CRC), которая эквивалентна эксклюзивной «метке защиты от подделки» для каждого пакета.

Чтобы соответствовать кодированию PAM4 и технологии исправления ошибок FEC, о которой мы поговорим позже, PCIe 6.0 должен включать режим Flit (проще говоря, «пакеты данных» фиксированного размера). Flit — это блок данных фиксированной длины — 256 байт — и его внутренняя структура ясна и делится на:

- 235 байт TLP: основные данные, которые действительно необходимо передать.

- 6 байтов DLP: эквивалент «метки среднего уровня» для данных, отвечающей за соединение передачи канального уровня.

- 8 байт CRC: контрольный код, используемый для проверки правильности передачи данных.

- 6 байт FEC: «Резервные данные» для исправления ошибок, которые мы подробно объясним позже.

Многие люди могут задаться вопросом: почему мы должны использовать «пакеты» фиксированного размера? Причины просты, всего три пункта:

1. Удобен для коррекции ошибок FEC: коррекция ошибок FEC рассчитывается в блоках фиксированной длины, а Flit представляет собой полноценный процессорный блок — его нет необходимости разделять, что делает его более эффективным.

2. Уменьшение накладных расходов. Старые дополнительные накладные расходы, такие как заголовки синхронизации и токены кадрирования, были оптимизированы. Хотя пакеты имеют фиксированный размер, общее использование полосы пропускания фактически улучшается.

3. Упрощенная обработка ошибок. Сначала FEC исправляет небольшие исправимые ошибки на месте, затем CRC проверяет еще раз. Если это невозможно исправить, инициируется повторная передача. Процесс понятен и не требует повторных хлопот.

3. Частота битовых ошибок и механизм исправления ошибок: недавно добавленная функция исправления ошибок FEC.

PCIe 5.0 предъявляет очень строгие требования к ошибкам передачи данных: сквозная частота битовых ошибок (просто вероятность неправильной передачи данных) не должна превышать 1E-12, что означает не более 1 битовой ошибки на каждый 1 триллион переданных битов. Он основан на технологии выравнивания физического уровня и повторной передаче на канальном уровне без специальной функции исправления ошибок.

Поскольку кодирование PAM4 по своей сути более подвержено битовым ошибкам, PCIe 6.0 специально добавляет облегченную прямую коррекцию ошибок (сокращенно FEC; в просторечии «резервную копию для исправления ошибок», переносимую во время передачи). Спецификация также определяет новый индикатор под названием FBER (частота первых битовых ошибок), для которого требуется значение ≤ 1E-6. Хотя это кажется более мягким, чем требование версии 5.0, с помощью FEC общая способность исправления ошибок на самом деле выше.

Как работает ФЭК? Все просто: при отправке данных для каждого Flit вычисляются 6 байтов избыточной информации FEC (т. е. «резервные данные») и отправляются вместе с ними. После приема получатель сначала использует FEC для исправления небольших ошибок, которые можно исправить на месте. Если ошибка слишком велика для исправления FEC, CRC обнаруживает ее и инициирует повторную передачу.

Преимущества этого двухэтапного механизма: «сначала FEC для исправления ошибок, затем CRC для проверки ошибок» особенно очевидны:

— Большинство небольших однобитовых ошибок можно исправить напрямую с помощью FEC без повторной передачи, сохраняя задержку под контролем и не снижая общую скорость.

- Вероятность повторной передачи очень низкая, контролируется в пределах 5E-6, а дополнительное потребление полосы пропускания составляет всего около 0,05%, что практически не влияет на нормальное использование.

- По сравнению с RS-FEC Ethernet (задержка около 100 наносекунд), облегченный FEC PCIe 6.0 имеет гораздо меньшую задержку и не влияет на нормальную работу устройств.

4. Выравнивание приемника: значительное улучшение возможностей исправления ошибок

Во время высокоскоростной передачи сигнала сигналы будут ослабевать — точно так же, как звук становится тише по мере распространения. В настоящее время для компенсации необходима технология «эквализации», позволяющая приемнику четко принимать сигнал. Эталонный DFE PCIe 5.0 (Decision Feedback Equalization, тип технологии исправления ошибок) имеет 3 касания, что эквивалентно всего 3 «помощникам по исправлению ошибок».

Поскольку сигналы PAM4 более восприимчивы к помехам, PCIe 6.0 предъявляет более высокие требования к возможности исправления ошибок. Эталонный DFE увеличился до 16 нажатий, что эквивалентно в несколько раз большему количеству «помощников по исправлению ошибок». Возможности цифровой обработки сигнала приемника также значительно улучшены: теперь он лучше устраняет «хвостовые помехи» (дополнительные помехи, оставшиеся после передачи сигнала).

Кроме того, была модернизирована технология CTLE (линейное выравнивание с непрерывным временем) с 4 полюсов/2 нулей до 6 полюсов/3 нуля с более мощной способностью компенсировать затухание сигнала.

Многие могут спросить: Зачем нам столько «помощников по исправлению ошибок» (тапов)? Потому что три «маленьких глазка» PAM4 имеют разные требования к выравниванию, особенно верхний и нижний глазки, которые более восприимчивы к нелинейным помехам. Только более сильный DFE может настроить все три «маленьких глаза» так, чтобы они были четкими, гарантируя нормальный прием сигнала.

5. Целостность сигнала: более строгие требования, нет места компромиссу

Из приведенной выше таблицы параметров ясно, что требования к тестированию PCIe 6.0 намного строже, чем для версии 5.0. Давайте подробно разберем, насколько они строги, один за другим:

- Высота глазка теста Rx: уменьшено с 15 мВ в версии 5.0 до 6 мВ в версии 6.0 (только для верхнего глаза), что эквивалентно более чем удвоению «стандарта четкости» сигналов.

- Ширина глаза при тестировании Rx: уменьшена с 9,375 пс в версии 5.0 до 3,125 пс в версии 6.0 (по-прежнему для верхнего глаза), что также значительно повышает требования к точности времени.

- Требование к джиттеру опорной тактовой частоты: уменьшено с среднеквадратичного значения менее 0,25 пс до среднеквадратического значения 0,15 пс. Проще говоря, требования к стабильности тактовой частоты выше, и места для отклонений нет.

- Бюджет потерь в канале: уменьшен с 36 дБ при 16 ГГц до 32 дБ при 16 ГГц, что означает, что затухание сигнала во время передачи не может быть слишком большим, а требования к оборудованию более строгие.

Это означает, что конструкции, которые были «достаточно хороши» в эпоху PCIe 5.0, будут совершенно бесполезны в эпоху 6.0. Каждое отверстие на печатной плате, каждый миллиметр проводки и каждый разъем должны быть тщательно проконтролированы — небрежности не должно быть места.

Здесь есть несколько ключевых проблем, которые я выделю для всех:

1. Материал печатной платы: необходимо использовать материалы со сверхнизкими потерями, такие как MEGTRON 7 и RO4835. Обычные материалы FR-4, которые мы обычно используем, не выдерживают затухания сигнала на частоте 32 ГГц и при их использовании легко вызывают ошибки передачи данных.

2. Разъемы. Разъемы для поверхностного монтажа стали стандартом, и процесс запрессовки должен быть чрезвычайно точным. Небольшое отклонение повлияет на сигнал и приведет к нестабильной передаче.

3. Стабильность источника питания. PAM4 очень чувствителен к помехам в источнике питания. Предыдущая конструкция источника питания вообще не может соответствовать требованиям, поэтому распределительную сеть электропитания (PDN) необходимо перепроектировать, чтобы обеспечить стабильное электроснабжение.

4. Контроль перекрестных помех: расстояние между дифференциальными парами, отверстия экранированного заземления — нельзя упускать из виду каждую деталь. Незначительная ошибка приведет к возникновению перекрестных помех между сигналами и ухудшит качество передачи.

6. Коммерческие перспективы: сначала корпоративный уровень, потребительский уровень — ждать

С точки зрения практического применения позиционирование этих двух поколений продуктов сильно различается. Давайте разобьем это на две категории, чтобы каждый мог понять с первого взгляда.

PCIe 5.0 теперь полностью популярен в серверах искусственного интеллекта и центрах обработки данных. Будь то видеокарты NVIDIA серии RTX 50, видеокарты AMD серии RX 9000 или твердотельные накопители (SSD) корпоративного уровня — все они поддерживают PCIe 5.0 и широко используются.

Напротив, коммерциализация PCIe 6.0 идет относительно медленно. Хотя спецификация была выпущена в начале 2022 года, реально доступные устройства появятся на рынке не раньше 2026 года. Для этого есть три основные реальные причины:

1. Высокая стоимость. Стоимость контроллера PCIe 6.0 без учета ленты составляет около 20–35 миллионов долларов США, что вдвое превышает стоимость контроллера 5.0. У производителей высокие инвестиционные затраты, и им нелегко внедрить их в массовое производство.

2. Высокий технический порог: проектирование PAM4, проверка продукта и тестирование требуют совершенно нового набора инструментов. Многие производители еще не освоили эту технологию и не могут производить качественную продукцию в короткие сроки.

3. Различные требования. Центрам обработки данных искусственного интеллекта и высокопроизводительных вычислений (HPC) действительно нужна высокая пропускная способность PCIe 6.0 для более быстрой передачи данных и повышения эффективности. Однако для обычных потребительских компьютеров и игровых консолей спрос на версию 6.0 практически отсутствует — нынешние твердотельные накопители PCIe 5.0 уже настолько быстры, что пользователи не могут почувствовать разницу; более высокие скорости не нужны.

Согласно отраслевым прогнозам, PCIe 6.0 может стать популярным на потребительском рынке только после 2030 года. Но в области корпоративного уровня, особенно в серверах искусственного интеллекта, крупномасштабное внедрение начнется в 2026-2027 годах, сначала в профессиональных областях.

Резюме: Существенная разница между двумя поколениями

Возвращаясь к исходному вопросу: в чем реальная разница между PCIe 5.0 и 6.0?

Подводя итог простым языком: 5.0 — это потолок эпохи кодирования NRZ, доводящий старую технологию до предела; а версия 6.0 — это отправная точка эры кодирования PAM4, открывающая совершенно новый технический путь.

Для инженеров работа над PCIe 5.0 проверяет их способность совершенствовать старые технологии; работа над PCIe 6.0 проверяет их способность изучать новые технологии и адаптироваться к новым маршрутам. Для всей отрасли 5.0 — это зрелая технология, которую можно использовать и надежно уже сегодня, а 6.0 — это направление будущего, но это будущее сначала придет из центров обработки данных, а затем постепенно проникнет в жизнь обычных пользователей.

|(Примечание: Части документа могут бытьИИгенерировать)