不同的檔案格式(例如 PDF、Word)換算成 token 的比例會一樣嗎?
不完全一樣,主要差異來自格式本身夾帶的額外資訊。純文字檔案的 token 換算比較單純,幾乎完全對應文字內容本身;PDF 或 Word 這類格式,如果檔案裡包含大量排版標記、表格結構、圖片說明文字,這些額外的結構性資訊也會被計入處理過程,導致同樣「看起來」差不多長度的文件,實際消耗的 token 數可能因為格式複雜度不同而有落差。
實務上如果需要精確估算,比較可靠的做法是先把文件轉換成純文字,用字數概略推算,而不是直接用檔案的頁數或檔案大小去估計,因為檔案大小或頁數跟實際 token 消耗量的對應關係,會因格式跟排版複雜度而有明顯差異。
如果一次要處理的內容超出上下文窗口的容量,該怎麼辦?
最直接的做法是把內容拆分成幾個部分,分批處理,而不是硬塞進單一次對話。拆分時比較有效的方式,是依照內容本身的邏輯結構去切(例如一份長報告依照章節拆分),而不是單純按照字數平均切割,因為邏輯完整的段落切分,能讓模型在處理每一批內容時,都有足夠的上下文去正確理解,避免因為切割點剛好落在一個論述中間,導致模型誤解前後文的意思。
如果任務本身需要跨越多個批次的內容做綜合判斷(例如比較報告裡不同章節的數字),另一個做法是先請模型針對每一批內容個別產出摘要,再把這些摘要整合成一次對話去做最終的綜合分析,這樣能在有限的容量內,涵蓋到原本超出單次容量的完整資訊範圍。
知道容量換算之後,實務上要怎麼判斷一個任務該不該一次塞進去做?
除了確認容量夠不夠之外,更該問的問題是:這個任務的不同部分之間,是否真的需要彼此參照才能得出正確結果?如果是(例如需要交叉比對一份合約裡分散在不同章節的相關條款),即使容量剛好卡在邊緣,也值得優先考慮怎麼精簡內容讓它塞進單一次對話,因為拆分處理會讓模型失去跨部分交叉參照的能力;如果任務的不同部分彼此獨立、不需要互相參照(例如分別檢查五份不相關文件各自的格式是否正確),拆分成多次處理反而更有效率,也更容易分別驗證每一部分的結果。
簡單的判斷準則是:先問「拆開處理,會不會讓模型漏掉重要的關聯性」,如果答案是會,就該想辦法塞進單一次對話;如果答案是不會,拆分處理通常是更划算的選擇。
上下文窗口的容量會不會隨著使用時間或方案不同而變化?
會,不同的模型版本、不同的使用方案,實際能用的容量上限可能不同,這是規劃任務時該事先確認的資訊,不能單純假設所有情境下的容量都一樣大。實務上建議在開始一個需要處理大量內容的任務前,先確認當下實際使用的模型版本跟方案對應的容量上限是多少,而不是憑印象套用之前查到的數字,因為這類規格會隨著產品更新而調整。
另外值得留意的是,前面提到的「容量上限」通常是理論上的技術上限,不代表在這個上限附近使用都能維持理想的處理品質——這呼應了前文提到的上下文腐化現象,實務規劃時,與其緊貼著容量上限去塞內容,保留一定的餘裕空間、並確保放進去的內容夠精簡,通常能得到更穩定的處理品質。
常常看到 上下文窗口 的容量被寫成「20 萬 token」這樣的數字,但這個數字對大多數人來說很抽象——20 萬 token 到底相當於幾頁文件?能不能塞下一整本書?這篇文章不重複解釋上下文窗口是什麼,而是直接把這個抽象數字換算成實際的內容量,讓你在規劃任務時能有具體的參考依據。
要換算容量,得先搞清楚 token 跟你熟悉的「字數」不是同一個單位。以英文來說,一個 token 大約對應 4 個字元,或者說平均 0.75 個英文單字;中文的換算比例又不太一樣,因為中文沒有空格分隔單字,一個中文字通常會被拆成 1 到 2 個 token,實際比例會依內容而有所浮動。這代表同樣是「20 萬 token」,能裝下的英文字數,跟能裝下的中文字數,兩者換算出來的實際頁數會有明顯落差。
用比較有感的方式換算:20 萬 token 的英文內容,大約相當於 15 萬個英文單字,換算成一般書籍的排版,大概是一本中等厚度小說的份量;中文內容因為換算比例不同,20 萬 token 大約能容納 10 到 13 萬個中文字,相當於一本中篇小說或是一份非常詳盡的技術文件。如果換成大家更熟悉的參考單位,20 萬 token 大概可以裝下數十份一般辦公文件(每份約 2000 字),或是一場長達數小時會議的完整逐字稿。
知道容量的具體大小後,另一個該建立的認知是:容量上限只是「能不能放進去」的問題,不代表塞到接近上限依然能維持同樣的處理品質。放進去的內容如果組織得不好、夾雜大量不相關資訊,即使還沒用滿容量上限,模型抓取重點的準確率也可能已經開始下降,這跟「容量還有沒有剩」是兩件獨立的事,規劃任務時不能只看容量夠不夠,還要考慮放進去的內容夠不夠精簡、聚焦。
如果你在規劃需要處理大量文件的任務(例如分析一整份合約、彙整多份報告),把 token 容量換算成你熟悉的頁數或字數概念,能幫助你更準確地評估這個任務是不是真的塞得進一次對話裡,還是需要拆成幾個階段處理。對於透過 API 按用量計費的使用情境,理解容量換算也有助於估算成本——知道自己要處理的文件大概對應多少 token,能讓你在事前就對這次任務的花費有合理預期,而不是送出請求後才發現超出預算。