LLM ENGINEERING · OFFLINE GUIDE

LLM 技術名詞完整入門指南

從 Layer、RNN、FFN、Gradient，到 Fine-tuning、LoRA、QLoRA、FLOPS、GPU 與 Production Inference，一次建立完整概念。

繁體中文English 技術名詞可離線開啟互動式 LoRA 計算器

01 · LLM 技術全景

LLM（Large Language Model，大型語言模型）橫跨神經網路、數學、訓練、微調、GPU 運算和推論部署。

LLM（大型語言模型）GPT · Llama · Qwen

↓

神經網路架構Transformer · Layer · Attention · FFN

數學基礎Tensor · Matrix · Gradient · Loss

模型訓練Backpropagation · Optimizer · Epoch

模型微調Fine-tuning · LoRA · QLoRA

運算效能FLOPS · GPU · VRAM · BF16

模型推論Inference · KV Cache · Quantization

02 · 神經網路基礎名詞

名詞	中文	主要用途
Neural Network	神經網路	模型的基本計算架構
Neuron	神經元	加權計算與非線性轉換
Parameter	參數	模型學習到的數值
Weight	權重	決定輸入訊號影響程度
Bias	偏置	調整神經元輸出
Layer	層	一組計算操作
FNN	前饋神經網路	資訊由前向後傳遞
RNN	循環神經網路	使用歷史狀態處理序列
Transformer	Transformer 架構	現代 LLM 主流架構
Attention	注意力機制	建立 Token 間關聯
FFN	前饋網路	Transformer 內非線性轉換模組

Layer（層）是什麼？

Layer 可理解為一個資料加工階段。70-Layer Transformer 通常代表 70 個 Transformer Block，而不是 70 個神經元。

Input：我喜歡學習 AI

↓

Embedding LayerToken 轉向量

↓

Transformer Layer 1處理 Token 關係

↓

Transformer Layer 2 … N持續轉換上下文表示

↓

Output Layer產生下一個 Token 的分數與機率分布

Transformer Block 通常包含 Attention、FFN、Normalization、Residual Connection。

FNN、FFN、RNN、Transformer 比較

架構	工作方式	角色
FNN	資料單向通過網路	基礎架構
FFN	多層前饋轉換	Transformer Block 內的模組
RNN	將前一步 Hidden State 傳給下一步	早期序列模型
LSTM	使用門控機制改良 RNN	早期 NLP 常見
Transformer	Attention 處理 Token 關係	主流 LLM 架構

FNN 與 FFN 有時可互換使用；在 Transformer 語境中，FFN 通常特指 Block 內的前饋子網路。

03 · 數學與模型訓練

名詞	中文	解釋
Scalar	純量	單一數值
Vector	向量	一維數值集合
Matrix	矩陣	二維數值集合
Tensor	張量	多維數值資料
Matrix Multiplication	矩陣乘法	LLM 核心運算
Gradient	梯度	Loss 對參數變化的敏感程度
Loss Function	損失函數	衡量預測錯誤程度
Backpropagation	反向傳播	計算各參數的梯度
Gradient Descent	梯度下降	利用梯度更新參數
Learning Rate	學習率	控制參數更新幅度
Optimizer	最佳化器	更新參數，例如 AdamW
Batch Size	批次大小	每批訓練樣本數
Epoch	訓練輪次	完整走過訓練資料一次
Step	更新步驟	通常指一次 Optimizer Update

Gradient（梯度）如何運作？

假設輸入是 1 + 1 =，正確答案為 2，但模型對 3 給出較高機率。訓練的目標是降低 Loss。

示意：沿著局部下降方向更新參數以降低 Loss。

W_new = W_old − η · ∂L/∂W

W 是權重、η 是學習率、L 是 Loss、∂L/∂W 是梯度。

Gradient 本身不會更新模型。Backpropagation 計算梯度，Optimizer 使用梯度更新 Weight。

04 · Fine-tuning、LoRA、QLoRA

技術	中文	核心差異
Pre-training	預訓練	使用大量資料從頭訓練模型
Fine-tuning	微調	使用特定資料繼續訓練
Full Fine-tuning	全參數微調	更新所有或幾乎所有參數
PEFT	參數高效率微調	訓練少量額外或選定參數
LoRA	低秩適應	用小矩陣表示權重更新
QLoRA	量化低秩適應	量化基礎模型並使用 LoRA 訓練
SFT	監督式微調	使用輸入和目標答案訓練
DPO	直接偏好最佳化	使用偏好資料改善輸出
RLHF	人類回饋強化學習	使用人類偏好訊號進行強化學習

LoRA 為什麼可以省資源？

假設原始權重矩陣大小是 4096 × 4096，總共有 16,777,216 個參數。LoRA 不直接訓練整個原始矩陣，而是學習兩個小矩陣。

W′ = W + BA
B: 4096 × 16　｜　A: 16 × 4096

當 Rank = 16 時，新增可訓練參數 = 4096 × 16 + 16 × 4096 = 131,072。

原始矩陣16.78M

LoRA 新增參數131K

這個單一矩陣例子，LoRA 訓練參數只有原始矩陣的 0.78%。完整模型比例取決於 LoRA 套用哪些模組。

LoRA vs QLoRA

比較	LoRA	QLoRA
基礎模型權重	通常 BF16 / FP16	通常 4-bit
訓練權重	LoRA Adapter	LoRA Adapter
VRAM	較高	較低
訓練速度	通常較直接	可能有反量化開銷
品質	依資料及設定	可接近 LoRA，但不保證
適用情境	GPU 記憶體充足	GPU 記憶體有限

QLoRA 通常凍結量化的基礎模型，透過反向傳播訓練 LoRA Adapter，並非直接更新全部 4-bit Weight。

05 · GPU、FLOPS、VRAM 與精度

名詞	中文	意義
FLOP	浮點運算次數	一次浮點運算
FLOPS	每秒浮點運算次數	計算吞吐能力
TFLOPS	每秒兆次浮點運算	10¹² FLOPS
PFLOPS	每秒千兆次浮點運算	10¹⁵ FLOPS
VRAM	GPU 顯示記憶體	存放權重和運算資料
CUDA	NVIDIA 平行運算平台	GPU 軟體生態
Tensor Core	張量運算核心	加速矩陣運算
FP32	32-bit 浮點數	較高精度
FP16	16-bit 浮點數	較低記憶體需求
BF16	Brain Floating Point	模型訓練常用
INT8	8-bit 整數	量化格式
INT4	4-bit 整數	更低記憶體用量
HBM	高頻寬記憶體	高階 AI GPU 常用
Memory Bandwidth	記憶體頻寬	資料搬移速度

70B 模型權重理論容量

精度	理論權重大小
FP32	280 GB
FP16 / BF16	140 GB
INT8	70 GB
INT4	35 GB

以上為十進位 GB，僅計算權重；不含量化 Metadata、KV Cache、Activation、Optimizer State、CUDA Workspace 等。FLOPS 高不代表單請求推論一定快，Decode 可能受 Memory Bandwidth 限制。

06 · Inference（推論）名詞

名詞	中文	用途
Inference	推論	用訓練好的模型產生結果
Token	詞元	文字處理基本單位
Tokenizer	分詞器	文字轉 Token ID
Embedding	嵌入向量	Token 轉數值表示
Context Window	上下文視窗	可處理的 Token 範圍
Prefill	提示詞預處理	處理輸入 Token 並建立 KV Cache
Decode	解碼階段	逐步產生 Token
KV Cache	Key / Value 快取	避免重算歷史 Token 的 K/V
TTFT	首 Token 延遲	請求到第一個 Token 的時間
TPS	每秒 Token 數	生成速度或系統吞吐量
Latency	延遲	請求到回應耗時
Throughput	吞吐量	單位時間工作量
Quantization	量化	降低數值精度
Continuous Batching	連續批次處理	動態合併推論請求
Speculative Decoding	推測式解碼	用草稿模型等方法加速生成

07 · LLM 訓練與推論流程

Training DataText / Code / Documents

↓

Tokenizer → Embedding文字轉 Token，再轉向量

↓

Transformer × N Layers

AttentionQ / K / V

FFNLinear + Activation

Layer Norm · Residual · Matrix Multiplication

↓

Prediction → Loss預測 Token 並計算誤差

↓

TrainingBackward → Gradient → Optimizer → Weight Update

InferencePrefill → Decode → Token Output

Training 會反覆更新權重；Inference 使用已訓練的權重生成輸出，不執行一般的 Weight Update。

08 · 互動練習：LoRA Rank 計算器

拖動 Rank，觀察單一 4096 × 4096 矩陣的可訓練參數量如何變化。所有計算都在瀏覽器本機完成。

LoRA Rank (r)16

43264128

LoRA 可訓練參數0.131M

相對原始矩陣比例0.78%

原始矩陣16.78M

LoRA Adapter0.131M

4096 × 16 + 16 × 4096 = 131,072

Rank 越高，Adapter 容量通常越大，記憶體和計算成本也增加；不保證模型品質更好。

09 · 進階 LLM 名詞

類別	名詞	用途
架構	MoE (Mixture of Experts)	多專家子網路
架構	GQA (Grouped Query Attention)	降低 KV Cache 成本
架構	RoPE	編碼 Token 位置
架構	RMSNorm	正規化 Hidden States
架構	SwiGLU	FFN 常用 Activation
訓練	Gradient Accumulation	累積多個 Microbatch 梯度
訓練	Gradient Checkpointing	以額外計算降低記憶體需求
訓練	Mixed Precision	混合不同精度
分散式訓練	DDP	分散式資料平行
分散式訓練	FSDP / ZeRO	分片模型狀態
推論	FlashAttention	高效率 Attention 運算
推論	PagedAttention	分頁管理 KV Cache
推論	Tensor Parallelism	多 GPU 分擔張量運算
推論	Pipeline Parallelism	不同 GPU 執行不同模型層
應用	RAG	檢索外部資料輔助生成
應用	Embedding Model	內容轉向量
應用	Vector Database	向量儲存與搜尋

10 · 建議學習順序

數學基礎

Vector → Matrix → Tensor → Matrix Multiplication

神經網路

Weight → Bias → Layer → FFN → Activation

模型訓練

Forward → Loss → Gradient → Backpropagation → Optimizer

Transformer

Embedding → Q/K/V → Attention → FFN → Layer

模型微調

Fine-tuning → PEFT → LoRA → QLoRA → DPO

GPU 與效能

FLOPS → VRAM → HBM → Precision → Quantization

Production Inference

Prefill → Decode → KV Cache → Batching → Parallelism

Training（訓練）Gradient · Optimizer · GPU Compute · Training Memory

Inference（推論）Token Generation · KV Cache · Memory Bandwidth · Latency · Throughput