Claude 的核心架構是 Transformer，它透過「Attention（注意力）機制」理解語言。Attention 讓模型在處理每一個 Token 時，都能同時參考整個輸入序列，而不是只看前幾個詞。這讓 Claude 能理解「銀行」在不同上下文裡的不同意思、能追蹤「它」指的是哪個名詞、能把文章開頭的背景資訊和結尾的問題連結起來。
Transformer 架構在 2017 年由 Google 的研究論文《Attention is All You Need》提出，徹底改變了自然語言處理領域。在 Transformer 之前，語言模型（如 LSTM）是順序處理文字的，這造成長文本處理效率低下、遠距離依賴關係難以捕捉等問題。Transformer 的並行處理能力和 Attention 機制，讓模型能同時處理整個輸入序列，也讓訓練規模的大幅擴展成為可能，最終催生了 GPT、Claude 這類大型語言模型。
理解 Claude 的底層架構，對你的實際使用有幾個直接影響。第一，你會理解為什麼重複或強調某些資訊有效：Attention 機制讓高頻率出現或在關鍵位置出現的 Token 獲得更多「注意力」。第二，你會理解幻覺的來源：當 Attention 機制在訓練資料裡找不到足夠的「參考點」時，模型就會輸出機率上最高但可能不準確的 Token。第三，你會理解為什麼 Context Window 大小很重要：Attention 的計算是對整個輸入序列進行的，Context Window 越大，Claude 能「看到」和整合的資訊就越多。
把 Transformer 和 Attention 的理解轉化為實際的使用技巧：把最關鍵的指令放在 Prompt 的第一段，不要留到最後；如果你的任務需要 Claude 特別注意某個部分，明確說出來而不是期望它自動識別；在長對話中，如果 Claude 開始「忘記」之前說過的重要資訊，直接在新訊息裡重申；理解 Token 的概念有助於你估算費用——中文每個字約 1-2 個 Token，英文每個詞約 0.75 個 Token。