인공지능 SoC 설계 기술 종합 보고서

인공지능 SoC 설계 기술 종합 보고서

1. AI 모델 연산용 가속기 모듈 설계 및 최적화

인공지능 모델 처리를 위한 하드웨어 가속기는 대규모 행렬 연산, 벡터 연산 등을 병렬로 수행하도록 설계된다. 대표적인 구조로는 매트릭스 곱셈형 시스톨릭 배열이나 벡터 프로세싱 유닛이 있으며, NVIDIA GPU 내의 Tensor Core, Google TPU, Graphcore IPU, Xilinx/Intel FPGA의 DSP 블록 등이 예시이다. 예를 들어, 구글 TPU v1은 256×256 크기의 시스톨릭 배열과 24MiB 온칩 SRAM을 갖추고 있으며 8비트 정수 연산 중심의 추론용으로 설계되었다[1]. 후속 버전(TPU v2/v3)에서는 16비트 BF16 부동소수점 연산, HBM 메모리 등을 도입해 학습에도 대응하도록 확장되었다[2][3]. NVIDIA의 최신 GPU(Hopper H100)도 4세대 Tensor Core를 갖추고 FP8, TF32 등 다양한 혼합 정밀도 연산을 지원하며, 전용 Transformer Engine으로 트랜스포머 모델 학습을 가속화한다[4][5]. 이 밖에 Graphcore Colossus IPU는 수천 개의 작은 코어(tile)와 각 코어별 600KB 이상의 SRAM을 타일 구조로 연결해 고성능의 GNN/DNN 연산을 수행한다[6].

·         시스템 구조: 위와 같은 가속기들은 일반적으로 CPU/GPU와 통합된 SoC 내의 IP로 구현된다. 스마트폰 SoC의 NPU (Neural Processing Unit) 예로는 화웨이 Kirin 시리즈의 Da Vinci 아키텍처 기반 NPU가 있다. Kirin 810의 경우 FP16 및 INT8 텐서 연산을 지원하여 동급 SoC 대비 우수한 AI 성능을 보였다[7]. 애플의 Neural Engine, 퀄컴의 Hexagon DSP/AI 엔진 등도 유사한 역할을 수행한다.

• 데이터플로우: 설계 시 데이터 재사용을 극대화하기 위한 다양한 처리 흐름이 도입된다. 예를 들어 Weight-Stationary 방식은 각 PE(연산 유닛)가 고정된 가중치를 로컬 메모리에 저장해 입력 신호와 곱한 후 누적하는 방식이며, Output-Stationary는 중간 출력을 로컬에 저장해 재사용한다. Input-Stationary는 입력을 로컬에 저장하고 가중치를 스트리밍하는 방식이다. 이러한 전략은 메모리 접근 횟수를 줄여 성능과 에너지 효율을 향상시키는 효과가 있다[8].
• 산업 적용 사례: 데이터센터급 GPU(GPU 서버), 모바일/엣지 NPU, FPGA 기반 가속기 등이 대표적이다. 예를 들어 Xilinx의 Versal AI Core 시리즈는 전통적 FPGA 블록(Adaptable Engine)과 함께 AI Engine이라는 벡터 프로세서 배열, 임베디드 코어(CPU)를 통합한 이기종 SoC로, 전용 AI 엔진이 ResNet50 기준 기존 FPGA 대비 약 2.7배 높은 성능/전력 효율을 제공한다[9]. 또한 NVIDIA는 Hopper GPU에 이어 차세대 Blackwell GPU에서 FP4(사분위수) 연산을 지원해 초대형 언어모델(LLM) 인퍼런스를 가속화하는 것으로 알려져 있다[10].
• 성능 최적화 기법: AI 하드웨어에서는 저정밀도 연산(Quantization), 희소성 활용, 프루닝(Pruning), 연산 일정 최적화 등이 널리 연구된다. 낮은 비트폭(FP8, INT4, FP4 등)을 쓰면 메모리 대역폭과 에너지 비용을 줄이면서도 정확도를 유지할 수 있다[4][11]. 실제로 IBM 연구진은 하이브리드 FP8 포맷을 도입한 학습용 ASIC을 제안했으며[12], NVIDIA Hopper와 Blackwell은 각각 FP8과 FP4를 지원한다[4][10]. 이외에도 모델 압축, 지오메트릭한 신경망 구조 탐색(NAS)을 하드웨어 제약에 맞춰 자동 수행하는 Quickloop 같은 설계 최적화 기법이 제시되었다[13][14].

표 1. AI 가속기 설계 주요 아키텍처 비교

구조 유형	특징 및 용도	예시 제품/연구
GPU/TPU	범용 병렬 연산, 고정밀도 및 저정밀도 혼합연산	NVIDIA Hopper/H100 Tensor Core[4], Google TPU v1-v4[1][15]
AI 엔진(벡터 프로세서)	고밀도 벡터 연산, CNN/RNN 가속 최적화	Xilinx Versal AI Engine[9], Qualcomm AI Engine
NPU/IPU (사설 DNN)	특정 DNN 워크로드 가속, SRAM 기반 병렬 처리	Graphcore Colossus IPU[6], Huawei DaVinci NPU[7]
FPGA/DSP	유연성, 사용자 정의 병렬 아키텍처	Xilinx/Intel FPGA+DSP, Eyeriss 같은 연구용 가속기
아날로그/메모리 컴퓨팅	저전력 도메인 특화, 신호 처리 최적화	memristor 신경망 가속기 등 (연구 단계)

각 구조의 장점과 제약에 따라 실제 제품에서는 이종 컴퓨팅 요소들을 결합하는 경향이 있다. 예를 들어 고성능 서버용 SoC는 GPU + AI 엔진 + FPGA 조합으로 설계되며, 모바일 SoC는 CPU+GPU+DSP+NPU를 통합하여 배터리 효율과 성능을 동시에 달성한다.

2. IP 및 SoC 검증(Verification) 기술

SoC 검증은 설계가 명세대로 동작하는지 확인하는 필수 단계이다. 주요 검증 기법으로는 기능 검증(Functional Verification), 형식 검증(Formal Verification), 시뮬레이션, 에뮬레이션/프로그래밍 가능 FPGA 프로토타이핑 등이 있다.

·         기능 검증 (Functional Verification): RTL 설계에 대해 SystemVerilog/UVM 같은 검증 벤치(testbench)를 작성하고 다양한 테스트 시나리오를 구동하며 결과를 검증한다. 검증 IP(UVC)나 자동 생성된 레지스터 모델 등을 사용해 버스 프로토콜(AXI, AHB 등)과 레지스터 파일 동작을 검증한다[16][17]. 난수 시뮬레이션, 커버리지 기반 테스트 생성 등의 기법을 적용해 설계의 기능적 완성도를 확인한다.

·         형식 검증 (Formal Verification): 수학적 모델체크를 통해 RTL이 특정 속성(Property)을 만족하는지, 또는 RTL과 RTL 또는 RTL과 합성된 게이트-레벨 네트리스트 간의 등가(Equivalence)를 검증한다. 형식 검증 도구(예: Cadence JasperGold, Synopsys VC Formal)는 저수준 코너 케이스와 정합성 확인에 효과적이다. 예를 들어 Infineon의 RADAR SoC 검증 사례에서는 제어·상태 레지스터(CSR), 프로토콜 연결(Connectivity), 일반 속성(Property) 검증 등을 형식 검증으로 수행하여 코드 커버리지를 빠르게 향상시켰다[18].

·         시뮬레이션 (Simulation): RTL 모델 또는 게이트-레벨 네트리스트를 이벤트 기반 시뮬레이터에서 동작시켜 동작을 검증한다. 디지털 시뮬레이션은 물론, 아날로그/혼성신호 회로는 SPICE나 AMS 시뮬레이터로 검사한다. 전력 검증(Power-aware Simulation)을 통해 전력 도메인 간 전환과 절전 기능도 테스트할 수 있다[19]. 테스트 환경에서는 모델체크 기반 자동 검증과 결합하여 높은 신뢰도를 추구한다.

• 에뮬레이션 및 FPGA 프로토타입: 설계 규모가 커지면 단순 시뮬레이션만으로는 시간이나 자원에 한계가 있다. 이때 하드웨어 에뮬레이터(Cadence Palladium, Synopsys ZeBu, Mentor Veloce 등)를 사용하거나, 대형 FPGA 보드(Xilinx HAPS, Intel 프로토타이핑 키트)에서 설계를 구현해 빠른 속도로 검증한다. FPGA 기반 프로토타입은 실제 SoC에서 구동할 임베디드 SW까지 함께 검증할 수 있다. Synopsys의 HAPS 프로토타입 시스템은 수백 MHz 속도로 SoC를 실행할 수 있어, 운영체제 부팅부터 애플리케이션 검증까지 실리콘 전에 가능케 한다[20][21]. 이러한 물리적 프로토타입은 시뮬레이션 대비 수십 배 이상의 검증 속도를 제공하며 복잡한 SoC의 완전 검증에 필수적이다[21].
• 상용/오픈소스 도구: 상용 기능검증 도구로는 Synopsys VCS, Cadence Xcelium, Mentor QuestaSim 등이 있고, 형식 검증용으로는 JasperGold, VC Formal, Questa Formal 등이 대표적이다. 오픈소스 검증 도구도 활성화되고 있다. 예컨대 Verilator와 Icarus Verilog는 Verilog 시뮬레이터로 널리 사용되며[22], SymbiYosys(Yosys 기반)는 RTL 속성검증(모델체킹)을 지원한다[23]. Python 기반 Cocotb 프레임워크를 이용하면 RTL 검증 벤치를 파이썬으로 작성할 수 있으며, 거의 모든 주류 시뮬레이터(VCS, ModelSim/Questa, Xcelium, Riviera, GHDL, Verilator 등)을 연동해 사용할 수 있다[24]. 또한 FuseSoC 같은 빌드 툴로 검증 자동화를 하기도 한다.
• 검증 사례 및 동향: 앞서 언급한 Infineon RADAR SoC 검증에서는 시스템 수준 UVM 벤치와 다수의 UVC, 자동 레지스터 모델을 사용해 ASIC-RTL 및 게이트-레벨 시뮬레이션을 수행했다[17]. 여기에 형식 검증(속성검증, 연결검증, 레지스터 검증, AHB 프로토콜 ABVIP 등)을 병행하여 검증 속도를 높였다[16]. 최근에는 Cadence Xcelium ML 같이 머신러닝을 접목한 툴로 회귀 테스트 속도를 개선하기도 한다[25]. 또한 칩 복잡도가 증가하면서 계층적 검증(각 IP 단위, 서브시스템 단위 검증 재사용)과 표준화된 검증 플랫폼(UVM) 채택이 일반화되고 있다. 기능 안전(ISO 26262) 요구사항에 대응해 형식 검증 비중이 커지고, 클럭 도메인 교차(CDC) 검증과 타이밍 다이어그램 검증도 강화되는 추세다.

표 2. 주요 검증 기법과 도구 예시

검증 기법	설명	예시 툴 (상용)	예시 툴 (오픈소스)
기능 검증 (Functional)	RTL/SoC 동작을 테스트벤치로 시뮬레이션하여 검사	Synopsys VCS, Cadence Xcelium, Mentor Questa	Verilator, Icarus Verilog, Cocotb[22][24]
형식 검증 (Formal)	수학적 모델체크로 속성(Property) 및 등가검증 수행	Cadence JasperGold, Synopsys VC Formal	SymbiYosys (Yosys 기반)[23]
에뮬레이션	ASIC을 FPGA 또는 전용 하드웨어로 구현하여 검증	Cadence Palladium, Synopsys ZeBu, Mentor Veloce	(FPGA 프로토타입) Xilinx HAPS, AWS FPGA
프로토타이핑 (FPGA)	SoC 전체를 대형 FPGA 보드에서 실행하여 HW/SW 동시검증	Synopsys HAPS, Intel PCB Prot.	Amazon EC2 F1, Azure FPGA instances
정적 분석/검증	문법/타이밍/CDC 검사 및 형식검증(DRC/LVS)	Mentor SpyGlass, Synopsys SpyGlassCDC	svlint, Yosys-GL (formal)

3. HDL 설계 및 FPGA/ASIC 기반 구현·검증

디지털 회로 설계는 RTL(Register-Transfer Level) 방식으로 진행되며, 동기식 회로를 레지스터 단위로 분할해 단계별 논리로 구현한다. 일반적으로 모듈화된 설계를 통해 버스 인터페이스, FSM, 연산 유닛 등을 구성한다. 사용 언어는 Verilog, VHDL, 최신형 SystemVerilog(RTL + 검증) 등이 주류이고, SystemC(TLM)나 Chisel/SpinalHDL(Scala 기반) 같은 고수준 언어도 일부 활용된다. 예를 들어, FPGA 설계에서는 Xilinx Vivado 또는 Intel Quartus에서 Verilog/VHDL을 사용하며, ASIC 설계에서는 Synopsys Design Compiler, Cadence Genus 등의 합성 도구로 RTL을 게이트넷리스트로 변환한다[26].

·         RTL 설계 과정: 설계자는 register와 combinational 로직(ADD, MUL 등)을 기술하며, 클럭/리셋 신호로 동작을 제어한다. 파이프라인, 벡터 연산 유닛 등의 구조를 직접 설계하거나 IP 코어를 활용한다. 설계 코드 검증을 위해 시뮬레이터로 RTL 동작을 확인하며, lint/CDC 검사로 버그를 사전 제거한다.

• FPGA 프로토타이핑: RTL 코드는 FPGA 구현 툴(Xilinx Vivado, Intel Quartus 등)으로 합성/배치배선되고 비트스트림으로 변환된다. Vivado는 C/C++ 기반 HLS(High-Level Synthesis)를 지원하여 고수준 언어로부터 RTL 코드를 생성할 수 있으며, 자동 타이밍 분석 및 하드웨어 로직 분석 도구(ILA) 등을 제공한다[26][27]. HLS를 통해 복잡한 알고리즘의 RTL 생성이 간편해지며, 설계 기간을 단축할 수 있다[27]. 생성된 FPGA 빌드에서는 실시간 디버거(ILA)나 하드웨어-소프트웨어 동시 실행으로 펌웨어를 검증할 수 있다. 최근에는 AWS EC2 F1, Azure FPGA 인스턴스 등의 클라우드 FPGA 서비스도 등장해, 설계자들이 대규모 FPGA 자원을 원격으로 활용하고 있다.
• ASIC 구현 및 테이프아웃: 확정된 RTL은 ASIC 흐름을 거쳐 칩으로 제작된다. 먼저 합성 후 표준셀 라이브러리를 이용해 게이트넷리스트를 만들고, 배치·배선(Place & Route)을 수행한다. 이후 정적 타이밍 분석(STA), 전력/열 분석을 통해 성능·전력 목표를 검증하고, DRC/LVS 같은 물리 검증을 거친다. 최종 결과물(GDSII)은 파운드리(예: TSMC, 삼성전자)에 넘겨 패터닝 및 웨이퍼 제작에 들어간다. 최첨단 공정에서는 EUV 리소그래피, 핀펫/나노시트(GAA) 트랜지스터 등이 적용된다. 예를 들어 삼성전자는 2022년 중반 3nm GAAFET 공정(3GAA)을 출하했고, TSMC도 같은 해 말 3nm(N3) 공정의 양산을 시작했다[28].
• 산업 적용 사례 및 최신 동향: HDL 설계·구현은 반도체 산업 전반에 적용된다. 플래그십 CPU/GPU(인텔, AMD, NVIDIA), 모바일 SoC(퀄컴 Snapdragon, 삼성 Exynos, 애플 A 시리즈), 자동차용 SoC(ADAS, 전장 칩) 모두 RTL 설계를 기반으로 제작된다. 또한, 칩렛/패키징과 같이 모듈적 ASIC 개발이 늘어나고 있으며, ASIC 내 eFPGA(임베디드 FPGA) 구성도 연구·상용화되고 있다. 마이크로프로세서 학습을 위해 개발된 오픈소스 RISC-V 코어(예: Rocket Core, BOOM)처럼 사용자 정의 CPU도 RTL로 설계된다. 요약하면, HDL 설계 도구는 Verilog/VHDL 중심으로 진화해왔으나, HLS·고급 언어 기반 설계가 늘어나고 있으며, FPGA와 ASIC 모두 유연한 SoC 플랫폼(예: Xilinx Versal[9])에 초점을 맞추고 있다.
• 검증: FPGA 구현 단계에서도 RTL 시뮬레이션, Synthesis 도구 검증, 타이밍 검증을 거친다. ASIC에서는 합성 전/후, RTL vs 게이트레벨 검증, 물리 검증 등의 절차를 거쳐 회로의 정확성을 보장한다. 특히, 다중 클럭/전력 도메인 SoC는 전원 관리 검증(UPF)과 CDC 검증이 필수적이다. 검증 완성 후 칩 출하 전 웨이퍼 테스트를 통해 기능을 확인하고, 초기 고객(파운더리) 평가를 거쳐 상품화된다.

표 3. RTL 설계 및 구현 관련 툴 예시

기능 구분	툴/언어 예시	용도 및 특징
HDL 언어	Verilog, VHDL, SystemVerilog, SystemC	회로 동작 기술 (RTL, 검증)
합성(Synthesis)	Synopsys Design Compiler, Cadence Genus, Yosys	RTL → 게이트넷리스트 변환
타이밍 분석	Synopsys PrimeTime, Cadence Tempus	STA를 통한 성능/타이밍 보증
FPGA 구현	Xilinx Vivado, Intel Quartus, Lattice Radiant	FPGA 합성·배치배선·디버그（ILA）
HLS(고수준합성)	Xilinx Vivado HLS, Mentor Catapult	C/C++ → RTL 자동 변환[27]
물리 검증	Calibre (DRC/LVS), Mentor QuinFort	설계 규칙 검사 및 레이아웃 검증
FPGA 프로토타입	Synopsys HAPS, Xilinx Vitis, AWS F1	실제 하드 구현을 통한 시스템 검증

이상과 같이, 인공지능 가속기 설계부터 SoC 통합, FPGA/ASIC 구현, 검증에 이르는 전체 흐름에서 다양한 하드웨어·소프트웨어 기법이 활용되고 있다. 최신 기술로는 저전력 다중비트 산술, 재구성 가능한 가속기, 머신러닝 기반 검증 등, 그리고 HLS/AI SoC 같은 설계 효율화 기법이 활발히 연구·적용되고 있다.

출처: 위 보고서에서 언급한 내용은 최신 학술 문헌, 기술 기사, 기업 발표 자료 등을 종합하여 작성하였으며, 관련 인용 정보는 각주[29][16][9] 등에서 확인할 수 있다.

---

[1] [2] [3] [6] [8] [11] [12] [15] A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms

https://arxiv.org/html/2306.15552v2

[4] [5] [10] NVIDIA Ampere, Hopper, and Blackwell GPUs — What’s in it for ML Workloads? | by Najeeb Khan | Medium

https://medium.com/@najeebkan/nvidia-ampere-hopper-and-blackwell-gpus-whats-in-it-for-ml-workloads-c81676e122aa

[7] Huawei 7nm Kirin 810 Beats Snapdragon 855 and Kirin 980 on AI Benchmark Test | Synced

https://syncedreview.com/2019/06/21/huawei-7nm-kirin-810-beats-snapdragon-855-and-kirin-980-on-ai-benchmark-test/

[9] xilinx.com

https://www.xilinx.com/content/dam/xilinx/publications/solution-briefs/xilinx-versal-ai-compute-solution-brief.pdf

[13] [14] [29] Architectural Design of Artificial Intelligence Inference Accelerator

https://www.atlantis-press.com/article/126016709.pdf

[16] [17] [18] [19] [25] Efficient Verification of a RADAR SoC Using Formal and Simulation-Based Methods

https://arxiv.org/html/2404.15371v1

[20] [21] FPGA Prototyping and the SoC Design/Verification Process | Synopsys Blog

https://www.synopsys.com/blogs/chip-design/scalable-performance-for-soc-design.html

[22] [23] GitHub - ben-marshall/awesome-open-hardware-verification: A List of Free and Open Source Hardware Verification Tools and Frameworks

https://github.com/ben-marshall/awesome-open-hardware-verification

[24] cocotb | Python verification framework

https://www.cocotb.org/

[26] [27] FPGA Design Tools & Trends 2024: What’s New and Emerging

https://fidus.com/blog/fpga-design-tools-and-trends-whats-new-in-2024/

[28] 3 nm process - Wikipedia

https://en.wikipedia.org/wiki/3_nm_process