Claude 的核心架構是 Transformer，它透過「Attention（注意力）機制」理解語言。Attention 讓模型在處理每一個 Token 時，都能同時參考整個輸入序列，而不是只看前幾個詞。這讓 Claude 能理解「銀行」在不同上下文裡的不同意思、能追蹤「它」指的是哪個名詞、能把文章開頭的背景資訊和結尾的問題連結起來。
Transformer 架構在 2017 年由 Google 的研究論文《Attention is All You Need》提出，徹底改變了自然語言處理領域。在 Transformer 之前，語言模型（如 LSTM）是順序處理文字的，這造成長文本處理效率低下、遠距離依賴關係難以捕捉等問題。Transformer 的並行處理能力和 Attention 機制，讓模型能同時處理整個輸入序列，也讓訓練規模的大幅擴展成為可能，最終催生了 GPT、Claude 這類大型語言模型。
理解 Claude 的底層架構，對你的實際使用有幾個直接影響。第一，你會理解為什麼重複或強調某些資訊有效：Attention 機制讓高頻率出現或在關鍵位置出現的 Token 獲得更多「注意力」。第二，你會理解幻覺的來源：當 Attention 機制在訓練資料裡找不到足夠的「參考點」時，模型就會輸出機率上最高但可能不準確的 Token。第三，你會理解為什麼 Context Window 大小很重要：Attention 的計算是對整個輸入序列進行的，Context Window 越大，Claude 能「看到」和整合的資訊就越多。
把 Transformer 和 Attention 的理解轉化為實際的使用技巧：把最關鍵的指令放在 Prompt 的第一段，不要留到最後；如果你的任務需要 Claude 特別注意某個部分，明確說出來而不是期望它自動識別；在長對話中，如果 Claude 開始「忘記」之前說過的重要資訊，直接在新訊息裡重申；理解 Token 的概念有助於你估算費用——中文每個字約 1-2 個 Token，英文每個詞約 0.75 個 Token。
你有沒有想過：當你問 Claude 一個問題，它到底在做什麼？它是真的在「想」嗎？還是只是在查一個超大的字典？
答案兩者都不是——但理解它實際上在做什麼，能讓你用 AI 工具的方式從根本上改變。
Claude 的核心運作邏輯，說到最底層其實很簡單：預測下一個最可能出現的 Token。
Token 可以理解成文字的片段——可能是一個完整的詞，也可能是半個詞、一個標點符號，或者幾個字母。Claude 每次生成回答，本質上是在做一個超複雜的「文字接龍」：根據之前出現的所有 Token，判斷下一個 Token 最可能是什麼，然後輸出它，再根據新的整個序列預測再下一個，一直到回答完成。
這聽起來很機械、很簡單。那為什麼 Claude 能寫詩、能分析邏輯、能理解諷刺？
答案在於 Transformer 架構 和它的核心機制 Attention（注意力）。
在 Transformer 出現之前，語言模型是「從左到右」依序處理文字的——先看第一個詞，再看第二個，以此類推。這個方式有個致命的問題：到了句子後半段，模型很容易「忘記」前面說過什麼。
Attention 機制解決了這個問題，它讓模型在處理每一個 Token 的時候，都能同時「看到」整個輸入序列——並且動態決定哪些其他 Token 對理解當前這個 Token 最重要。
舉個具體的例子：
「銀行旁邊有條河，河邊的銀行很安靜。」
這句話裡「銀行」出現了兩次，但意思完全不同（金融機構 vs 河岸）。Attention 機制讓 Claude 在處理第二個「銀行」時，能注意到「河邊」這個關鍵詞，從而正確判斷這裡的「銀行」是指河岸，不是金融機構。
更技術性地說：Attention 機制會給輸入序列裡的每一對 Token 計算一個「相關性分數」。分數高代表這兩個 Token 在語意上高度相關，模型在生成輸出時會把這個關係考慮進去。
Claude 用的不是單一的 Attention，而是 Multi-Head Attention（多頭注意力）。
想像一下：你在讀一段文字，你可能同時關注幾件事——這個詞的詞性是什麼？它和主語的關係是什麼？它的情感傾向是正面還是負面？這三個問題是對同一段文字的三個不同「角度」的關注。
Multi-Head Attention 讓 Claude 能同時從多個角度分析輸入，每個「頭」（Head）負責捕捉不同類型的關係——有的頭專注於語法結構，有的頭專注於語意關聯，有的頭可能在追蹤代詞指涉（「它」指的是哪個名詞）。所有頭的分析結果最後被整合在一起，形成對輸入的豐富、多維度的理解。
Attention 機制的威力在於：它是可學習的。在訓練過程中，Claude 學到了對於不同類型的問題，應該在什麼地方「集中注意力」。
當你問 Claude「這段程式碼為什麼會出現 Index out of range 的錯誤？」，它能同時關注：錯誤訊息本身、程式碼裡的陣列宣告、迴圈邊界的設定、以及你使用的程式語言慣例——把這些分散在不同位置的資訊整合起來，給出有意義的診斷。
這就是為什麼 Claude 在處理上下文依賴性強的任務（多輪對話、長文分析、需要跨段落理解的問題）時特別有優勢——Attention 機制讓它能高效地在整個 Context Window 裡「找到」最相關的資訊，而不只是依賴最近出現的內容。
理解了 Attention 機制，你就能理解幾個重要的 Claude 使用原則：
重要資訊放在開頭或結尾：研究顯示，LLM 對 Context 開頭和結尾的注意力最高，中間部分相對容易被「稀釋」（這就是所謂的「Lost in the Middle」問題）。把你最重要的指令和資訊放在 Prompt 的前段。
明確的指涉優於模糊的代詞：「幫我改善這段文字的結構」比「幫我改善它」更好。雖然 Attention 能解析代詞指涉，但越明確的指令越能讓 Claude 把注意力集中在你真正想要的地方。
長 Context 裡強調關鍵段落：如果你上傳了一份長文件，在問問題時明確說「請特別注意第三節的第二段」，而不是期望 Claude 自動找到最相關的部分。
Claude 不是在「想」，但它通過 Attention 機制在做的事，已經足以讓它「看起來像是在想」——而理解這個差別，是用好 AI 工具的第一步。