一直被當成 “GPU 小跟班” 的機頭 CPU，早不是“GPU忙死我旁觀、算力大活我不擔“的角色了，尤其是至強處理器開啟AMX技術的支持后——英特爾近期就在多個與客戶及合作伙伴溝通的場合中披露了向量數(shù)據(jù)庫上的多個測試數(shù)據(jù)，如：在至強6性能核處理器上，開啟AMX進行加速后， FAISS IndexFlat向量檢索性能提升達3.35倍，Reranker性能也會拉到未啟用時的2.31倍。還有一組基于第五代至強可擴展處理器平臺的測試數(shù)據(jù)：在激活AMX加速后，其上的向量數(shù)據(jù)庫的Embedding性能也可拉到未開啟時的4.79 倍。所有這些基于實戰(zhàn)的數(shù)據(jù)都指向一點：至強CPU能幫 GPU分擔向量數(shù)據(jù)庫的工作。

　　如果你問這有啥意義？我就得反問你：讓CPU把數(shù)據(jù)預處理的“雜活”干好，讓GPU更專注高價值的AI訓練或推理加速，這難道不香么？

　　要是第四代之前的至強CPU，這種高度依賴矩陣計算能力的“雜活”它還真不太容易扛，但自從2023年開始內(nèi)置了AMX（高級矩陣擴展）技術后，它還真就從從容容，游刃有余了！有人曾戲稱AMX是“CPU里的 Tensor Core”，就是因為它天生就是為矩陣運算加速而設計的。

　　8 個 1KB 二維 TILE 寄存器組成高速緩存區(qū)，能少跑好多內(nèi)存訪問的冤枉路；TMUL 乘法單元一次能處理 16×16 矩陣塊，再加上 INT8、BF16和FP16低精度支持，每核心每時鐘周期能完成 2048 次操作，是傳統(tǒng) AVX-512 技術的 8 倍。

　　這些能力不是要搶GPU 風頭，而是要幫 GPU 卸包袱：各種數(shù)據(jù)預處理，特別是向量數(shù)據(jù)庫的雜活 CPU 接了，GPU 才能專心干大事，讓花在它身上的每分錢都更物有所值。

　　這里就要先說說數(shù)據(jù)預處理——這是AI工作的“前置準備”階段，以前常要 GPU 分心兼顧。AI 工作負載里的非結構化數(shù)據(jù)解析、格式轉(zhuǎn)換、特征清洗，看著是“細活”，實則要高并行邏輯和高 I/O 吞吐，正好是機頭CPU的強項。更重要的是：CPU 把預處理扛了，GPU 就不用在訓練推理這樣的核心任務和預處理這種邊緣任務之間來回切換，算力與時間一點兒都不浪費。

　　對于向量數(shù)據(jù)庫，有AMX加成的至強則把 “幫 GPU 分擔” 做到了實處。向量存儲、索引構建、相似度檢索等流程，都由Embedding、相似度計算等組成，本質(zhì)都是密集型矩陣運算 —— 這正是 AMX 的拿手戲。據(jù)英特爾曾經(jīng)公布的更多的測試結果：在 FAISS 庫測試里，1,000 萬級向量數(shù)據(jù)集，AMX 的加成讓單批次查詢速度快 5 到 6.66 倍。1

　　圖片嵌入場景下，4 核至強實例性能漲到 2.45 倍，16 核實例也能提升達 1.7 倍。2

　　最關鍵的 50 萬條記錄檢索，32 核至強直接把速度提到 21.9 倍。3這些活兒要是扔給GPU，不光檢索慢，還得擠占推理算力，整體效率得打?qū)φ邸?/p>

　　這套 “至強分擔跑向量數(shù)據(jù)庫 + GPU 專注做訓練與推理” 的分工機制，直接改寫了 AI 部署的性價比。傳統(tǒng)方案里，GPU 又做預處理又跑AI算力密集型任務，就像 “一人干兩份活”，吞吐量上不去還容易卡殼；現(xiàn)在至強把向量數(shù)據(jù)庫的活接穩(wěn)了，AI 集群整體吞吐量提升的基礎上，GPU 應用的投資回報還能再上層樓。

　　另外，基于“至強+ AMX” 的機頭系統(tǒng)在AI推理上展現(xiàn)出的更優(yōu)性價比，有越來越多的用戶受到啟發(fā)，開始將AI模型預處理、小參數(shù)LLM推理交給機頭CPU來執(zhí)行。相對的，GPU則能解放生產(chǎn)力，更專注做高價值的任務，算下來每一分算力都花在刀刃上。

　　所以別再讓你的至強 CPU在AI服務器中“發(fā)呆”了，用好它，讓它真正做好協(xié)同的工作，能讓整個 AI 流程跑得更快、更省、投資回報更豐厚。所謂：不能幫 GPU 加速向量數(shù)據(jù)庫的 CPU，真算不上好至強。接下來隨著 AMX 支持更多數(shù)據(jù)類型、至強兼容高帶寬內(nèi)存，相信這種 “協(xié)同力” 還會更強。