В связи с быстрым развитием обучения больших моделей ИИ, высокопроизводительных вычислений и облачных вычислений спрос предприятий на вычислительную мощность GPU серверов и производительность систем хранения данных демонстрирует взрывную тенденцию роста. Однако традиционные серверные архитектуры имеют множество узких мест в возможностях расширения, таких как ограниченное количество слотов PCIe, сложности с балансировкой развертывания GPU и SSD, а также недостаточная гибкость решений по расширению. Эти проблемы серьезно ограничивают инновации в бизнесе. В данной статье будет проведен глубокий анализ этих болевых точек отрасли и показано, как LR-LINK LRSV9500-4I предоставляет предприятиям универсальное решение для расширения благодаря гибким режимам бифуркации X4/X8/X16.

I. Острая нехватка ресурсов слотов PCIe

1.1 Текущая ситуация

Современные серверные материнские платы обычно оснащены всего 4-8 слотами PCIe, которые должны одновременно удовлетворять требованиям различных периферийных устройств, таких как сетевые карты, GPU, NVMe SSD и RAID-карты. В сценариях обучения ИИ одному серверу может потребоваться от 4 до 8 графических карт GPU, а также высокоскоростные устройства хранения данных, поэтому количество слотов PCIe часто является самым большим ограничением.

1.2 Влияние на бизнес

Одновременное развертывание GPU и SSD затруднено, поэтому приходится искать компромисс между вычислительной мощностью и хранением данных.

Предприятиям приходится приобретать больше серверов, что приводит к значительному увеличению совокупной стоимости владения.

Пространство в шкафах быстро исчерпывается, что приводит к низкой загрузке ресурсов центров обработки данных

1.3 Решение LRSV9500-4I

Основанная на чипе Broadcom PEX89048 PCIe Switch, LRSV9500-4I расширяет один слот PCIe GEN 5.0 x16 до 4 интерфейсов MCIO 8I. К нему можно подключить 8 твердотельных накопителей NVMe в режиме X4 и 2 видеокарты GPU высокого класса в режиме X16. Занимается только один слот PCIe, что позволяет повысить эффективность расширения на 800%.

II. Сложность балансирования между расширением GPU и расширением системы хранения данных

2.1 Текущая ситуация

Сценарии обучения ИИ предъявляют чрезвычайно высокие требования как к GPU, так и к высокоскоростным системам хранения данных. Графические процессоры должны обрабатывать огромные объемы данных, в то время как пропускная способность и IOPS традиционных систем хранения SAS/SATA не могут удовлетворить спрос. Однако после того как слоты PCIe на материнской плате заняты GPU, интерфейсов для развертывания массивов NVMe SSD становится недостаточно.

2.2 Влияние на бизнес

· Во время обучения больших моделей коэффициент использования вычислительной мощности GPU обычно ниже пиковой вычислительной мощности. Например, коэффициент использования составляет около 59 % в кластере на 1000 GPU и около 55,2 % в кластере на 10000 GPU.

· Чтение обучающих данных становится ограничивающим фактором, что приводит к увеличению продолжительности циклов итерации модели

2.3 Решение LRSV9500-4I

Благодаря гибридному режиму X8, LRSV9500-4I может одновременно поддерживать GPU и NVMe SSD. Например, 2×X8 используется для подключения GPU, а оставшиеся 2×X8 подключаются к 2 NVMe SSD в качестве локального кэша. Таким образом, графические процессоры могут считывать данные непосредственно из высокоскоростного локального хранилища, повышая эффективность обучения в 3-5 раз.

III. Проблемы целостности сигналов PCIe 5.0

3.1 Текущая ситуация

Скорость передачи сигнала в стандарте PCIe 5.0 достигает 32 ГТ/с. Такая удвоенная скорость означает чрезвычайно строгие требования к целостности сигнала, обеспечивающие точность и эффективность передачи данных. Передача данных на большие расстояния, некачественные кабели или разъемы приводят к затуханию сигнала и увеличению частоты битовых ошибок, а в тяжелых случаях к невозможности идентификации оборудования или его частому отключению.

3.2 Воздействие на бизнес

· В процессе обучения на GPU, если карта будет отключена, результаты вычислений за несколько дней будут потеряны

· Устройства хранения данных работают на пониженной скорости: от PCIe 5.0 до 4.0 или даже 3.0.

· Возникает нестабильность системы и "синий экран смерти", что негативно сказывается на непрерывности бизнеса

3.3 Решение LRSV9500-4I

В LRSV9500-4I используется высокотехнологичный дизайн печатной платы, высококачественные разъемы и технология оптимизации сигналов, что обеспечивает стабильную работу PCIe 5.0 на полной скорости. Технология PCIe 5.0 обеспечивает скорость последовательного чтения и записи до 14 000 МБ/с и оптимальную производительность при правильной конфигурации. Интерфейс MCIO обеспечивает надежное физическое соединение, а использование сертифицированных кабелей позволяет эффективно снизить коэффициент битовых ошибок и обеспечить стабильную работу в течение 7×24 часов.

IV. Взаимосвязь нескольких графических процессоров

4.1 Текущая ситуация

В сценариях обучения на нескольких GPU топология соединения между графическими процессорами напрямую влияет на эффективность обучения. Традиционные решения полагаются на каналы PCIe, предоставляемые CPU, и связь между несколькими картами должна проходить через CPU, что приводит к ограниченной пропускной способности и высоким задержкам.

4.2 Воздействие на бизнес

· Эффективность распределенного обучения низка из-за недостаточной пропускной способности каналов связи между графическими процессорами

· Трудности возникают при масштабном расширении кластера

4.3 Решение LRSV9500-4I

В режиме X16 LRSV9500-4I позволяет графическим процессорам осуществлять эффективную P2P-связь через коммутатор, что значительно повышает эффективность обучения на нескольких картах.

В межхостовых кластерах с помощью сетевых карт, поддерживающих RoCE v2 (RDMA over Converged Ethernet), графические процессоры могут обходить центральный процессор и напрямую записывать данные в видеопамять удаленных GPU через сетевой адаптер. Несколько серверов напрямую соединены между собой для обеспечения совместного использования памяти и высокоскоростного обмена данными.

V. Резюме

Болевые точки серверных GPU и расширения систем хранения данных - это, по сути, противоречие между ограниченными ресурсами и неограниченным спросом. Благодаря технологии PCIe Switch и гибким режимам бифуркации X4/X8/X16, LRSV9500-4I предоставляет предприятиям эффективный путь решения. Будь то обучение искусственному интеллекту, высокопроизводительные вычисления, анализ больших данных или производство видео, LRSV9500-4I может обеспечить отличные возможности расширения и защиту инвестиций.

Являясь флагманским продуктом LR-LINK в области PCIe 5.0, LRSV9500-4I, опираясь на ведущую производительность чипа Broadcom PEX89048 и идеальную поддержку экосистемы, становится предпочтительным решением расширения для создания серверов искусственного интеллекта и центров обработки данных. Выбор LRSV9500-4I означает выбор гибкой, эффективной и ориентированной на будущее архитектуры расширения.