대규모 언어 모델과 생성형 AI 기술의 급속한 발전으로 AI 추론 서비스는 클라우드 컴퓨팅과 데이터 센터의 핵심 사업이 되고 있습니다. 이 기사에서는 한 인터넷 기업의 AI 추론 플랫폼 업그레이드 프로젝트를 예로 들어 AI 서버 스토리지 확장 시나리오에서 LRSV9501-2E PCIe 5.0 레타이머 확장 카드의 실제 적용을 시연하여 유사한 인프라 문제에 직면한 기업에게 참고할 수 있는 내용을 제공합니다.
한 인터넷 기업은 최종 사용자를 위한 AI 어시스턴트 및 지능형 고객 서비스 플랫폼을 운영합니다. 사용자가 빠르게 증가함에 따라 플랫폼의 AI 추론 요청이 폭발적으로 증가하여 기본 인프라의 성능과 확장성에 대한 요구가 높아졌습니다.
1. 스토리지 성능 병목 현상
AI 추론 서비스는 대용량 모델 파일(단일 모델이 수십 GB에 달할 수 있음)의 빠른 로딩과 추론 중 벡터 데이터베이스에 대한 효율적인 액세스가 필요합니다. 기존 서버는 PCIe 4.0 NVMe SSD를 사용했습니다. 성능은 이미 뛰어났지만, 동시 접속이 많은 시나리오에서는 스토리지 액세스 지연 시간이 시스템 병목 현상이 되어 추론 응답 속도에 영향을 미쳤습니다.
2. 저장 용량 부족
플랫폼은 A/B 테스트와 그레이 릴리스를 지원하기 위해 여러 버전의 AI 모델을 배포해야 합니다. 벡터 데이터베이스 및 로그 데이터와 결합하면 단일 머신 스토리지 용량 요구 사항이 10TB를 초과합니다. 표준 2U 서버는 드라이브 베이가 제한되어 있어 용량 확장 요구를 충족할 수 없습니다.
3. 섀시 공간 제약
이 기업은 각각 4개의 GPU가 장착된 표준화된 2U 랙 마운트 서버를 AI 추론 노드로 사용합니다. 내부 섀시 공간은 이미 GPU와 전원 공급 장치로 가득 차 있어 PCIe 확장 슬롯은 1개만 남습니다. 기존 스토리지 확장 솔루션은 적용되지 않습니다.
4. 신호 무결성 문제
이 기업은 일부 스토리지 장치를 외부에 배치하고 케이블을 통해 연결하여 섀시 공간의 제약을 극복할 계획입니다. 그러나 PCIe 5.0 신호는 고속 전송 중에 신호가 심하게 감쇠되므로 안정적인 연결을 보장하기 위해 신호 향상 솔루션이 필요합니다.
솔루션 설계
기술 평가 결과 LRSV9501-2E가 선정되었습니다.(구매하려면 클릭) 스토리지 확장 솔루션으로 PCIe 5.0 x16 듀얼 포트 MCIO 리타이머 확장 카드. 외부 NVMe SSD 확장 백플레인 및 PCIe 5.0 NVMe SSD와 결합하여 고성능, 고용량 스토리지 아키텍처를 구축했습니다.
시스템 아키텍처 하이라이트:
서버의 PCIe 5.0 x16 슬롯에 설치된 LRSV9501-2E, 4x4 레인 분기 모드로 구성됨.
2개의 MCIO 8i 케이블을 통해 외부 NVMe SSD 확장 백플레인에 연결됨
8개의 PCIe 5.0 NVMe SSD가 설치된 확장 백플레인(MCIO 케이블당 SSD 4개)
리타이머 칩으로 장거리 전송 시 PCIe 5.0 신호 무결성 보장
4x4 레인 분기 모드를 사용하면 16개의 PCIe 5.0 레인이 4개의 x4 링크로 나뉩니다. 각 x4 링크는 백플레인 스위칭을 통해 2개의 NVMe SSD에 연결되며, PCIe 대역폭을 최대한 활용합니다. 이 구성의 장점은 다음과 같습니다:
높은 장치 밀도: 하나의 확장 카드로 8개의 NVMe SSD 연결을 지원하여 스토리지 밀도가 크게 향상됩니다.
균형 잡힌 성능: 각 SSD는 x4 PCIe 5.0 대역폭(약 16GB/s)을 지원하여 고성능 요구 사항을 충족합니다.
유연한 확장: 하드웨어 교체 없이 수요에 따라 연결 장치 수를 조정할 수 있습니다.
다음 단계에 따라 하드웨어 배포를 완료하세요:
1단계: 서버 전원을 끄고, 전원 케이블을 분리하고, 정전기 방지 조치를 취합니다.
2단계: 섀시를 열고 사용 가능한 PCIe 5.0 x16 확장 슬롯을 찾습니다.
3단계: 섀시 높이에 따라 2U 또는 3U 브래킷을 선택하여 LRSV9501-2E 확장 카드를 설치합니다.
4단계: 랙에 외장형 NVMe SSD 확장 백플레인 설치하기
5단계: MCIO 8i 케이블을 사용하여 확장 카드를 외부 백플레인에 연결합니다.
6단계: 백플레인에 PCIe 5.0 NVMe SSD 8개를 설치합니다.
7단계: 섀시를 닫고 전원을 연결한 후 전원을 켜서 셀프 테스트하기
서버 BIOS 설정 인터페이스로 들어가서 PCIe 슬롯 레인 분기 모드를 4x4로 구성합니다. 구성을 저장하고 재부팅하면 시스템이 8개의 독립적인 NVMe SSD를 인식합니다.
FIO 도구를 사용하여 스토리지 테스트 | 시스템 성능 | 결과는 다음과 같습니다. |
단일 드라이브 순차 읽기 | 12.8GB/s | 약 2배 개선 |
단일 드라이브 순차 쓰기 | 10.2GB/s | 약 2배 개선 |
단일 드라이브 순차 쓰기 | 48 GB/s | 약 4배 개선 |
4K 랜덤 읽기 IOPS | 2,400K | 약 3배 개선 |
적용 효과 및 이점
스토리지 업그레이드 후 대용량 AI 모델 파일 로딩 속도가 크게 향상되었습니다. 70억 개의 파라미터가 있는 대용량 언어 모델을 예로 들면 로딩 시간이 크게 개선되었습니다. 이로 인해 모델 전환 및 서비스 재시작 시간이 크게 단축되어 플랫폼 운영 효율성이 향상되었습니다.
벡터 데이터베이스 쿼리 속도는 AI 추론 응답 시간에 직접적인 영향을 미칩니다. 업그레이드된 스토리지 시스템은 벡터 검색 지연 시간을 평균 15ms에서 5ms로 줄여 엔드투엔드 추론 응답 시간을 약 30% 단축하여 사용자 경험을 크게 개선했습니다.
단일 서버 스토리지 용량이 크게 증가하여 다중 버전 모델 배포 및 빅데이터 스토리지 요구 사항을 충족합니다. 또한 외부 확장 백플레인 설계로 향후 추가 확장이 가능합니다.
LRSV9501-2E의 리타이머 기능은 MCIO 케이블을 통해 전송할 때 PCIe 5.0 신호 무결성을 보장합니다. 구현 후 신호 품질 모니터링 결과 비트 오류율이 감소하여 엔터프라이즈급 신뢰성 표준을 충족하는 것으로 나타났습니다.
요약 및 경험 공유
AI 서버 스토리지 확장 시나리오에서 LRSV9501-2E의 실질적인 가치는 성공적으로 검증되었습니다. 다음은 주요 경험 요약입니다:
1. PCIe 5.0 대역폭을 최대한 활용하세요.
PCIe 5.0의 대역폭 향상은 스토리지 확장을 위한 새로운 가능성을 제공합니다. 합리적인 레인 분기 구성을 통해 하나의 확장 카드로 여러 개의 고성능 SSD를 연결하여 선형적인 스토리지 성능 확장을 실현할 수 있습니다.
2. 리타이머로 신호 무결성 문제 해결
외장 스토리지 확장의 가장 큰 문제는 신호 무결성입니다. LRSV9501-2E에 내장된 Broadcom BCM85657 리타이머 칩은 PCIe 5.0 신호 감쇠 문제를 효과적으로 해결하여 외부 연결을 가능하게 합니다.
3. MCIO 인터페이스의 편의성
MCIO 케이블 연결 솔루션은 섀시 공간의 제약을 극복하여 더 이상 서버 내부 공간의 제약을 받지 않고 스토리지를 확장할 수 있습니다.
4. 플러그 앤 플레이 배포 환경
프로토콜 투명 디바이스인 LRSV9501-2E는 전용 드라이버가 필요하지 않으며 CentOS와 Ubuntu 시스템 모두에서 플러그 앤 플레이를 지원하므로 배포 주기를 크게 단축할 수 있습니다.
이 프로젝트의 구현 경험을 바탕으로 LRSV9501-2E 는 다음과 같은 유사한 시나리오에도 적용할 수 있습니다:
대규모 모델 훈련 플랫폼: GPU 트레이닝 노드를 위한 고속 데이터 로딩 기능을 제공하여 데이터 전처리 시간을 단축합니다.
실시간 추천 시스템: 동시성이 높은 기능 벡터 검색을 지원하여 추천 서비스 응답 속도 향상
비디오 처리 서비스: 비디오 트랜스코딩 및 분석을 위한 높은 처리량의 스토리지 액세스 기능 제공
과학 컴퓨팅 클러스터: 대규모 데이터 세트의 고속 읽기/쓰기를 지원하여 시뮬레이션 및 모델링 작업을 가속화합니다.
CXL 메모리 확장: CXL 메모리 확장 모듈을 연결하여 메모리 집약적인 애플리케이션을 위한 대용량 메모리 풀을 제공합니다.
LRSV9501-2E PCIe 5.0 레타이머 확장 카드는 인터넷 기업의 AI 추론 플랫폼을 위한 고성능, 고신뢰성 스토리지 확장 솔루션을 제공합니다. PCIe 5.0의 고속 대역폭과 리타이머의 신호 향상 기능을 통해 이 기업은 섀시 공간의 한계를 극복하면서 스토리지 성능을 몇 배로 향상시켰습니다. AI 인프라를 구축하거나 업그레이드하는 기업을 위해 LRSV9501-2E는 성능, 확장성, 안정성이 균형을 이루는 고속 신호 확장 솔루션을 제공합니다. 오늘날 빠르게 진화하는 PCIe 5.0 및 CXL 기술에서 신호 재생 기능을 갖춘 확장 솔루션을 선택하면 향후 기술 업그레이드를 위한 충분한 공간을 확보할 수 있습니다.
2026-04-23