113 台大資工所考古題解答｜硬體考點分析

計結段把 IEEE Spectrum 的 MLPerf 報導印在卷上，考 FP8 格式、LLM 訓練與 DGX GH200 的 bandwidth 瓶頸。OS 段回到手寫申論。

題型與配分

全卷 100 分、9 頁、12 題，試題隨卷繳回。

區段	題號	配分	作答方式
Part I：計算機結構	1–8	50%	電腦閱卷答案卡，複選題、每一選項分別計分
Part II：作業系統	9–12	50%	手寫答案卷

前 8 題劃卡、後 4 題手寫，卷首明訂只有依照上述方式作答的答案才會計分。複選題每一選項分別計分，只有答對的選項得分，不倒扣。

Part II 另有三條規定：題目會刻意給多餘或缺漏的假設、沒有依題號順序作答可能不予計分、可以用英文或中文作答。

Part I 的結構：G1 基礎計組（第 1–3 題，15 分）、G2 大型語言模型與計算機結構（第 4–6 題，15 分）、G3 為 LLM 設計晶片與系統（第 7–8 題，20 分）。

第 1 題（5%）｜功耗管理：能不能同時提高 clock 又降低供應電壓、由 dynamic power 與電壓的關係推算降壓後的功耗、記憶體受限程式對 clock 下降的敏感度、DVFS 降的是 dynamic power 還是 leakage power、cache 關閉前要處理什麼
第 2 題（5%）｜pipeline 對 clock cycle 的影響：各級延遲 IF 500／ID 700／EX 300／MEM 600／WB 400 ps，指令組合 ALU 40%、Jump-Branch 15%、Load 25%、Store 20%。選項問非 pipelining 與 pipelining 的週期、load 在兩種設計下的延遲比、資料記憶體的使用率、throughput 提升倍數
第 3 題（5%）｜memory hierarchy：3C 模型的三個 C 分別是什麼、write-through 與 write-back 的定義、VIVT cache 為何能在 TLB 轉換前就開始搜尋、write-invalidate protocol 下 multithreading 程式為何可能多出 miss

卷上完整印出 IEEE Spectrum 2023 年 6 月的報導〈Intel and Nvidia Square Off in GPT-3 Time Trials〉，內容是 MLPerf 新增 LLM 訓練基準、Nvidia H100 對 Intel Habana Gaudi2 的比較。

第 4 題（5%）｜兩種 FP8 格式：E4M3（4 指數 3 尾數）與 E5M2（5 指數 2 尾數）。選項比較兩者的最大值與最小值、拿它們跟 8-bit 與 16-bit 無號整數的最大值比，還有一項問整個 transformer 能不能都用 FP8 計算
第 5 題（5%）｜依文章判斷 GPT-3 訓練：能不能用基準結果外推完整訓練時間、MLPerf 這類 LLM 基準評的是準確度還是達到特定準確度所需的時間、平行運算的必要性、加速器數量增加時訓練效率往哪個方向走
第 6 題（5%）｜依文章與新結果判斷：GPU 是不是總是比其他加速器快、混合精度帶來的提升幅度夠不夠翻轉原本的差距、送測結果的平台分布、製程世代、推薦系統基準的建立難度

第 7 題（10%）｜用 roofline 判斷該優化什麼：MIT 的 TinyChat 在邊緣裝置上，Generation 階段佔了 340 ms 中的 310 ms，Generation 的算術強度只有 1（W16A16）或 4（W4A16），Context 階段則 ≥ 165。選項問增加運算單元、提高記憶體 bandwidth、提高 clock 對每瓦 throughput 的影響、改善 branch predictor、把參數從 FP16 壓成 FP8 各自有沒有效
第 8 題（10%）｜DGX GH200 的系統層瓶頸分析：32 顆 GH200 超級晶片、128 petaFLOPS FP8、19.5 TB shared memory；單顆 GH200 有 ≤480 GB LPDDR5X CPU 記憶體與 ≤144 GB HBM3e GPU 記憶體，透過 NVLink-C2C 形成一致的統一 address space。假設 LLM 用 FP8、算術強度 1 FLOPs/Byte。選項涉及只用 GPU 記憶體時的容量與效能上限、改用 unified memory 訓練更大模型時速度會不會變、用 SSD array 替代 CPU 記憶體、cache blocking 的原理

第 9 題（20%，十個是非各 2 分）｜對答 Yes，錯就簡述理由：
A. thread 數與效能是不是單調關係
B. frame 數與 page fault rate 是不是單調關係
C. time quantum 大小與平均 turnaround time 的方向
D. 韌體在 ROM 執行與在 RAM 執行誰快。109 年第 2(e) 題把同一句反過來寫
E. working set 模型是不是必須由 MMU 支援
F. safe state 會不會走向 deadlock
G. context switch 有沒有硬體指令支援
H. Session 語意下，一方的變更何時對其他人可見。109 年第 2(h) 題考的是 UNIX semantics
I. 即時 scheduler 是不是依「即時優先權」scheduling
J. two-phase locking 保證了什麼、沒保證什麼，與 109 年第 2(j) 題一字不差
第 10 題（5%）｜滑鼠移動到畫面重繪的完整鏈路：滑鼠 driver（不是 ISR）做什麼、driver 怎麼被呼叫、視窗管理器怎麼知道要重繪。與 107 年第 12 題是同一個考點
第 11 題（10%）｜intrusive linked list 為什麼比傳統 linked list 快，題目的提示指向記憶體相關的優勢
第 12 題（15%）｜兩小題：(1) 5 分：Round Robin scheduler 如何實作才能讓每個工作精準地每 1 毫秒被 preempt、之後再無限期恢復　(2) 10 分：寫出精簡的 pseudo-code，一個常駐迴圈工作 T，執行 1 秒、然後 block 1 秒，要有註解。提示說可能需要 asynchronous I/O

台大硬體常整卷跟著當年的技術熱點走：107 年 Meltdown、109 年 CNN、113 年 LLM 與 MLPerf、115 年 AI 與安全關鍵系統。
roofline 在 106 第 3 題、109 第 1(j) 題、112 第 1–5 題、113 第 7 題都出現。
低精度 floating point 格式（FP8 的 E4M3 與 E5M2、BF16）是 113 年新增的考點，113、115 年都有。
cache blocking 與 tiling 的定義，113 第 8 題、109 第 1(g) 題都考。
Part II 的十個是非題，113 年有八題與 109 年第 2 題主題相同：A、B、C、D 是 109 的 (a)、(b)、(c)、(e) 反過來寫，J 與 109 (j) 幾乎一字不差，F、H、I 對應 109 的 (g)、(h)、(i)。
intrusive linked list（第 11 題）是 Linux kernel 的設計。
不倒扣，Part I 每一題每一選項都該作答。