春節(jié)假期,DeepSeek-R1 橫空出世,成為全球熱議焦點。2023年11月,DeepSeek 發(fā)布首個大模型 DeepSeek LLM;2024年5月開源DeepSeek-V2,因性能出色、價格優(yōu)勢收獲 “AI 屆拼多多” 稱號。12月26日上線并開源 DeepSeek-V3,憑借低訓練成本和出色性能引發(fā)全球熱議。2025年1月20日,DeepSeek 發(fā)布的DeepSeek-R1 推理大模型邏輯推理能力出色,接近甚至超越OpenAI的o1,引發(fā)全球轟動,被硅谷科技媒體稱為新時代的 “斯普特尼克時刻”。
DeepSeek-R1 憑借其創(chuàng)新和高效的訓練方法、強大的推理能力、大幅下降的使用成本和開源等出色表現(xiàn)迅速在 AI 大模型領域脫穎而出,其技術的深度整合已在多個行業(yè)中帶來了顯著的變革與推動。7天完成1億用戶增長,移動端上線26天,日活突破4000萬,目前已成為眾多用戶尋求智能幫助的首選。用戶暴增,大量用戶同時發(fā)送請求,服務器的算力資源、存儲資源和網絡帶寬等被快速占滿,處理能力達到極限,無法及時響應所有請求,從而導致頻繁報錯,關于其服務器繁忙的吐槽紛至沓來。
由于 DeepSeek 官方提供的R1服務頻繁報錯,各類替代服務方案也開始出現(xiàn),除了私有化部署方案,各大云服務商、芯片廠商等第三方服務商陸續(xù)上線 DeepSeek-R1 服務,為用戶提供了更多選擇。與此同時,越來越多的國內廠商接入 DeepSeek-R1 大模型服務,如:阿里云、華為云、騰訊云、華為、榮耀、OPPO、科大訊飛、順豐等,涵蓋云服務、軟件與應用服務商、手機廠商、酒店、物流供應鏈、汽車、醫(yī)藥、媒體等行業(yè)。
為了更好地服務開發(fā)者和終端用戶,國內領先的可觀測與應用安全廠商基調聽云對多家提供 DeepSeek-R1 API 服務的廠商開展了全面評測,并發(fā)布了《大模型服務性能評測 DeepSeek-R1 API版》第一期。
此次測評利用基調聽云撥測工具,模擬真實用戶的主動監(jiān)控,從網絡性能、接口響應時間、推理速度、內容生成速度等多個關鍵指標對主流云服務廠商的API接口進行了深入測試。同時,測評還結合了來自多個城市、運營商、主機和時間維度的數(shù)據(jù)分析,旨在為各行業(yè)開發(fā)者和終端用戶提供更具針對性和參考價值的建議,幫助大家選擇更快、更穩(wěn)定的 DeepSeek-R1 服務。
TL;NR(太長不看版):
?。?)經過對多家主流云服務廠商API接口的深度評測,火山引擎在 API 響應性能上全面領先,各項指標均顯著優(yōu)于其他服務商。DeepSeek 官方雖推理速度較好,但首 Token 延遲過長且可用性低,成為顯著短板。
?。?)其他服務商表現(xiàn)分化:硅基流動可用性較高,騰訊云與阿里云百煉速度表現(xiàn)不是太理想。
?。?)如果你不是開發(fā)者,只關心哪里能用 DeepSeek-R1,直接拉到文章結尾看我們的推薦網頁版服務。
評測結果及解讀
數(shù)據(jù)分析:
1. 火山引擎在平均速度、推理速度、生成速度上表現(xiàn)最優(yōu),且可用性高達 99.83%,在API接入上首選推薦。
2. DeepSeek 官方推理速度較快,但首 Token 延遲顯著(7.753s),可用性最低(42.21%)。
3. 硅基流動首 Token 響應快(0.714s)且可用性穩(wěn)定(98.83%),但平均速度較弱(12.426 tokens/s)。
4. 騰訊云整體性能較低,其中總性能最差(47.584s)且可用性一般(71.24%)。
5. 阿里云百煉表現(xiàn)不理想,平均速度最慢(3.684 tokens/s),首包時間也最長(1.091s),可用性尚可(87.98%)。
總體性能影響因素分析
1、服務端推理性能是主要影響因素
?在整體測試中,推理速度和生成速度的差異在廠商間表現(xiàn)較為顯著,尤其是火山引擎在推理和生成速度上表現(xiàn)優(yōu)秀,而其他廠商的性能則較為遜色。服務端推理的性能顯然是影響API整體性能的關鍵因素。
2、網絡因素的影響較小
?雖然網絡延遲(DNS 時間、連接時間等)存在一定的差異,但從測試結果來看,除非網絡層的延遲異常高,否則不會對整體的 API 性能產生根本性影響。例如,DeepSeek 官方和火山引擎的網絡層延遲較低,但推理和生成速度的差異更多源自服務端的處理能力,而非網絡本身。
因此,服務端推理性能是影響整體性能的主要因素,網絡層的影響相對較小,基本可以忽略不計,尤其當網絡延遲不超過合理范圍時。
城市維度
城市維度分析:
1. 火山引擎在以上城市均保持最高性能,且可用性全達 100%。
2. DeepSeek 官方在重慶的首 Token 時間最長12.675 秒,其他城市均在9秒內。
3. 硅基流動的可用性在廣州的表現(xiàn)的最差93.75%,其他城市在98%以上。
4. 其他服務商與其他指標未見明顯差異,整體與前面的結論一致。
運營商維度
運營商維度分析:
1. DeepSeek 官方在中國移動的網絡下建連時間0.152秒,其他運營商均在0.05秒以內。
2. 其他服務商指標對比未見明顯差異,整體與前面結論一致。
主機維度
主機維度分析:該維度從各服務商提供 API 服務的目標主機 IP 地址維度分析各家服務的分布和性能。
主機數(shù)量:騰訊云主機數(shù)量最多,DeepSeek 官方主機數(shù)量最少。
主機城市:騰訊云的主機城市分布最廣,其次是火山引擎。
主機運營商分布:騰訊云的主機運營商分布最廣,其次是火山引擎。
時間維度(1小時粒度)
各時間段分析:
時段(2025/2/17 8:00 - 15:00)
● 特點:DeepSeek 官方和阿里云百煉可用性波動較大,騰訊云可用性不高,但是可用性比較穩(wěn)定,其它服務商可用性相對優(yōu)秀,穩(wěn)定。
● 原因:可能此時用戶流量較大,服務器負載也比較大,騰訊云服務商可能受到限流影響。
時段(2025/2/17 15:00 - 2025/2/18 0:00)
● 特點:DeepSeek 官方在2025/2/17 15:00 - 17:00 服務出現(xiàn)不可用的情況,騰訊云可用性不高,但是可用性比較穩(wěn)定,其它服務商可用性相對優(yōu)秀,穩(wěn)定。
● 原因:可能此時 DeepSeek 官方用戶流量較大,服務器負載也比較大,騰訊云服務商可能受到限流影響。
時段(2025/2/18 0:00 - 8:00)
● 特點:多數(shù)服務商 API 的可用性較高,甚至達到100%。性能時長也相對較短。
● 原因:可能此時用戶流量較少,服務器負載較低,能夠為每個請求分配更多資源。
各服務商 API 整體性能分析:
火山引擎
● 可用性:整體非常穩(wěn)定,未出現(xiàn)明顯波動。
● 性能:整體表現(xiàn)良好,未出現(xiàn)顯著問題。
DeepSeek 官方
● 可用性:
2025-02-17 08:00 - 2025-02-18 01:00:可用性波動較大,從較差逐漸改善至良好。
2025-02-18 01:00 - 2025-02-18 08:00:可用性保持100%,表現(xiàn)穩(wěn)定。
● 整體性能:在可用性提升的同時,性能表現(xiàn)也逐漸優(yōu)化,整體時間指標表現(xiàn)優(yōu)秀。
硅基流動
● 可用性:整體波動較小,表現(xiàn)穩(wěn)定,大部分時間維持在95%以上。
● 性能:在各時間段內有波動,但整體表現(xiàn)較為平穩(wěn)。
騰訊云
● 可用性:總體較低,但各時間段內的波動較小。在測評過程中,騰訊云可能受到限流影響,導致可用性表現(xiàn)不佳。
● 性能:在各時間段內有波動,但整體表現(xiàn)較為平穩(wěn)。
阿里云百煉
● 可用性:
2025-02-17 08:00 - 2025-02-17 13:00:波動明顯,之后大部分時間維持在90%以上,表現(xiàn)較為穩(wěn)定。
● 性能:2025-02-17 08:00 - 2025-02-17 13:00:波動明顯,在其它各個時間段內表現(xiàn)較為穩(wěn)定。
本次評測的測試工具、指標采集、測試廠商、測試參數(shù)等詳情如下:
測試工具及指標采集
1. 測試工具:基調聽云撥測平臺
2. 采集指標:
● 通過API返回的數(shù)據(jù)計算出來的指標包含:平均速度(tokens/s)、首 Token 時間(s)、推理速度(tokens/s)、生成速度(tokens/s)
● 通過聽云撥測客戶端計算的指標包含:DNS 時間(s)、建連時間(s)、握手時間(s)、發(fā)出請求時間(s)、首包時間(s)、剩余包時間(s)、性能(s) 和可用性(%)
3. 測試節(jié)點:北京/上海/廣州/深圳/重慶/蘇州/成都/杭州/武漢九地移動/電信/聯(lián)通三大運營商,模擬27個終端用戶
4. 任務屬性:任務綁定(相同頻率,相同監(jiān)測點)
5. 大模型相關的測試指標和計算方式參考了公眾號“賽博禪心”文章“務實測試:DeepSeek 各家 API 真實速度”中提到的測試腳本。
測試廠商
騰訊云、阿里云、火山引擎、DeepSeek 官方和硅基流動
測試參數(shù)
●測試頻率:1小時
●測試周期:2025/02/17 08:00 - 2025/02/18 08:00
●測試 Prompt:9.9和9.11這兩個數(shù)哪個更大?請在結果中只輸出比較大的那個數(shù),并放在兩個"#"符號之間。
●期望響應格式:#9.9#
指標定義
?。?)模型性能指標
● 首 Token 時間:從請求發(fā)起至模型返回第一個有效 Token 的時間間隔 (單位:s)
● 推理速度:模型推理階段的平均速度 (單位:tokens/s)
● 生成速度:模型生成階段的平均速度 (單位:tokens/s)
● 平均速度:模型推理和生成兩個階段的整體平均速度 (單位:tokens/s)
?。?)網絡指標
● DNS:通過域名解析服務,將指定的域名解析成 IP 地址的消耗時間。
● 建連:瀏覽器和 Web 服務器建立 TCP/IP 連接的消耗時間。
● SSL:瀏覽器和 Web 服務器建立安全套接層 (SSL) 連接的消耗時間。
● 首包:瀏覽器發(fā)送 HTTP 請求結束開始,到收到 Web 服務器返回的第一個數(shù)據(jù)包的消耗時間。
● 剩余包:瀏覽器接收 Web 服務器返回的第一個數(shù)據(jù)包到元素數(shù)據(jù)接收結束的消耗時間。
● 性能(總下載時間):監(jiān)測一個頁面總的消耗時間,即從開始監(jiān)測到監(jiān)測結束的時間。
● 可用性:時間范圍內,目標服務能夠被正常訪問的次數(shù)與總訪問次數(shù)的比值。
?。?)分析維度
● 運營商:移動/電信/聯(lián)通
● 城市:北京/上海/廣州/深圳/重慶/蘇州/成都/杭州/武漢
● 目標主機(基于 API 服務的暴露的 IP 地址)
本次測評旨在為開發(fā)者提供深度數(shù)據(jù)支撐,助力其精準洞察各服務商 API 接口的性能表現(xiàn),從而有針對性地優(yōu)化產品體驗。對于開發(fā)者和企業(yè)用戶而言,這些數(shù)據(jù)可以作為服務商選擇的決策依據(jù),可以依托本次測評數(shù)據(jù),更科學地甄別適配自身需求的技術方案,有效提升調用效率,大幅降低響應延遲,全方位增強整體服務質量。
免責聲明:以上內容為本網站轉自其它媒體,相關信息僅為傳遞更多信息之目的,不代表本網觀點,亦不代表本網站贊同其觀點或證實其內容的真實性。如稿件版權單位或個人不想在本網發(fā)布,可與本網聯(lián)系,本網視情況可立即將其撤除。