天地男儿

삼성전자 ‘연산기 넣은 메모리’ 실증…AI 답변 속도 3배 빨라졌다_我的网站

布达佩斯

一 | 8 月 26 日消息，OpenAI 昨日（8 月 25 日）发布博文，展示其首款自研 Jalapeño 芯片，并表示无论是单用户 token 处理量，还是每千瓦吞吐量，都超过了目前市面上的顶尖推理处理器。 메모리 안에 연산기 넣어 데이터 이동 최소화‘라마3.1’ 모델 실증…토큰 생성속도 3배↑기존 제어장치 활용해 상용화 문턱도 낮춰 0.65㎜(밀리미터) 두께의 삼성전자 7세대 저전력 D램(LPDDR5X). 삼성전자삼성전자(005930)가 메모리 내부에서 연산 기능을 수행하는 프로세싱 인 메모리(PIM) 기술을 통해 인공지능(AI) 답변 생성 속도를 3배 이상 끌어올렸다. AI 반도체 성능 경쟁이 그래픽처리장치(GPU)의 연산 능력을 높이는 데서 나아가 데이터 이동 시간을 줄이는 방향으로 확대되고 있다는 분석이다.26일 업계에 따르면 삼성전자는 25일(현지 시간) 미국 스탠퍼드대에서 열린 ‘핫칩스 2026’에서 LPDDR5X 기반 프로세싱 인 메모리(PIM)의 실제 AI 추론 성능을 공개했다.PIM은 메모리 내부에 연산 기능을 탑재하는 기술이다. 데이터를 저장하는 역할에 머물던 메모리가 일부 계산까지 직접 처리해 프로세서의 부담을 줄이는 방식이다.기존 AI 반도체 구조에서는 메모리에 저장된 데이터를 GPU가 가져와 연산한 뒤 다시 메모리로 보내는 과정을 반복한다. 반면 PIM은 메모리 내부에서 필요한 연산 일부를 처리해 데이터 이동 거리를 줄인다. 이를 통해 처리 속도를 높이고 전력 소비도 낮출 수 있다.삼성전자는 저전력 더블 데이터 레이트 5X(LPDDR5X)-PIM에 16개 D램 뱅크마다 하나의 PIM 블록(연산회로 묶음)을 배치해 총 16개의 연산 블록을 탑재했다고 밝혔다. 뱅크는 데이터를 나눠 저장하는 D램 내부의 독립적인 저장 공간으로, 각 뱅크가 동시에 연산을 수행할 수 있도록 설계했다.이번 발표의 핵심은 실제 제작한 반도체에서 AI 모델 성능 향상을 검증했다는 점이다. 삼성전자는 자체 개발한 엣지 AI 가속기 시스템온칩(SoC)에 기존 LPDDR5X와 LPDDR5X-PIM을 각각 연결하고 메타의 거대언어모델(LLM) ‘라마 3.1 8빌리언(B)’을 구동했다. ‘생각하는 메모리’인 프로세싱 인 메모리(PIM) 구조 설명자료. 삼성전자그 결과 LPDDR5X-PIM의 토큰 생성 속도는 초당 81.3개로 기존 LPDDR5X(27개) 대비 3.01배 빠른 것으로 나타났다. 같은 작업에 걸리는 시간도 12.3초에서 5.4초로 줄었다.토큰은 AI가 답변을 생성할 때 사용하는 글자나 단어 단위의 데이터 조각이다. 동일한 AI 모델을 사용하더라도 메모리 구조를 개선하면 추론 속도를 크게 높일 수 있다는 의미다.삼성전자는 앞서 LPDDR5X-PIM 시제품과 기본 성능을 공개해왔다. 이번 발표는 실제 반도체 칩에 상용 AI 모델을 적용해 성능 개선을 확인하고, 내부 연산 구조까지 구체적으로 공개했다는 점에서 의미가 있다.상용화를 고려한 설계도 적용했다. 삼성전자는 주소정렬모드(AAM)를 활용해 LPDDR5X-PIM이 기존 D램 메모리 컨트롤러를 그대로 활용할 수 있도록 했다. 메모리 컨트롤러는 프로세서와 메모리 사이에서 데이터 입출력을 관리하는 장치다. PIM 적용을 위해 기존 시스템 구조를 전면 개편해야 하는 부담을 낮춘 것이다.삼성전자는 차세대 LPDDR6-PIM의 국제반도체표준협의기구(JEDEC) 첫 정식 규격도 최종화 단계에 가까워졌다고 밝혔다. 특정 업체만 사용하는 기술을 넘어 다양한 시스템 업체가 활용할 수 있는 표준 메모리 기술로 확대하겠다는 계획이다.업계 관계자는 “삼성전자가 세계적인 반도체 학회 핫칩스에서 선보인 LPDDR5X-PIM은 메모리가 위치한 곳에서 AI 연산 일부를 직접 처리하는 구조적 변화”라며 “AI 반도체 경쟁도 이제 GPU의 연산 속도를 높이는 것뿐 아니라 데이터를 얼마나 효율적으로 이동시키고 처리하느냐가 중요한 단계로 넘어가고 있다”고 말했다.。在官方博文中，OpenAI 使用半导体研究公司 SemiAnalysis 开发的公共基准测试工具 InferenceX，通过 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 三款模型测试。测试显示对比市面上领先的 AI 系统（GB200 和 GB300），每瓦能够完成的 AI 吞吐量是对比系统的 1.5 至 1.9 倍，端到端延迟则约为对比系统的 28% 至 59%。混合 Token 吞吐量与现有 AI 加速器的最快解码速度对比3 款模型峰值单用户解码吞吐量各平台最佳运行点的混合 Token 峰值吞吐量OpenAI 表示，Jalapeno 在运行 GPT-OSS 120B 时，每千瓦的峰值吞吐量比 GB200 系统高出约 1.9 倍。在 DeepSeek R1 上，它的每瓦性能比 GB300 高出约 1.7 倍；在 Kimi K2.5 上，它的每瓦性能比 GB300 高出约 1.5 倍。Jalapeno 的额定功率为 700 瓦，但在测试工作负载期间，其持续功耗保持在 550 瓦或以下。附上相关图片如下：延伸阅读Jalapeño 是 OpenAI 首款自研 AI 推理芯片，由 OpenAI 与博通（Broadcom）合作开发，台积电采用 3nm 制程代工制造，于 2026 年 6 月 24 日首次对外展示。

二 | 该芯片是一颗 ASIC（专用集成电路），采用 systolic array（脉动阵列）架构，配备 HBM 高带宽内存，专为大语言模型推理场景设计，不用于模型训练。芯片及配套服务器系统均不会对外销售，仅供 OpenAI 内部使用，旨在降低自身 GPU 采购和算力运营成本。OpenAI 硬件负责人 Richard Ho 领导了该芯片的研发，他此前在 Google 工作近九年，是 Cloud TPU 项目的核心工程师。Jalapeño 从架构设计到完成流片仅耗时约 9 个月，OpenAI 称这是高性能先进半导体领域有史以来最快的 ASIC 开发周期之一。

三 | OpenAI 自身的 AI 模型也深度参与了芯片设计流程，帮助加速设计优化。目前第二代 Jalapeño 芯片已进入后期开发阶段，预计未来数月内完成流片；第三代芯片也已启动概念设计。OpenAI 计划于 2026 年年底前小规模部署 Jalapeño，2027 年逐步扩大部署规模。需要注意的是，Jalapeño 此次测试对比的对象为英伟达 GB200 和 GB300 系统，尚未与英伟达最新一代 Vera Rubin 芯片进行对比测试。OpenAI 表示英伟达仍是其重要合作伙伴，未来将持续采用多供应商策略以满足庞大的算力需求。