春節(jié)假期,DeepSeek-R1 橫空出世,成為全球熱議焦點(diǎn)。2023年11月,DeepSeek 發(fā)布首個(gè)大模型 DeepSeek LLM;2024年5月開源DeepSeek-V2,因性能出色、價(jià)格優(yōu)勢收獲 “AI 屆拼多多” 稱號。12月26日上線并開源 DeepSeek-V3,憑借低訓(xùn)練成本和出色性能引發(fā)全球熱議。2025年1月20日,DeepSeek 發(fā)布的DeepSeek-R1 推理大模型邏輯推理能力出色,接近甚至超越OpenAI的o1,引發(fā)全球轟動(dòng),被硅谷科技媒體稱為新時(shí)代的 “斯普特尼克時(shí)刻”。
DeepSeek-R1 憑借其創(chuàng)新和高效的訓(xùn)練方法、強(qiáng)大的推理能力、大幅下降的使用成本和開源等出色表現(xiàn)迅速在 AI 大模型領(lǐng)域脫穎而出,其技術(shù)的深度整合已在多個(gè)行業(yè)中帶來了顯著的變革與推動(dòng)。7天完成1億用戶增長,移動(dòng)端上線26天,日活突破4000萬,目前已成為眾多用戶尋求智能幫助的首選。用戶暴增,大量用戶同時(shí)發(fā)送請求,服務(wù)器的算力資源、存儲(chǔ)資源和網(wǎng)絡(luò)帶寬等被快速占滿,處理能力達(dá)到極限,無法及時(shí)響應(yīng)所有請求,從而導(dǎo)致頻繁報(bào)錯(cuò),關(guān)于其服務(wù)器繁忙的吐槽紛至沓來。
由于 DeepSeek 官方提供的R1服務(wù)頻繁報(bào)錯(cuò),各類替代服務(wù)方案也開始出現(xiàn),除了私有化部署方案,各大云服務(wù)商、芯片廠商等第三方服務(wù)商陸續(xù)上線 DeepSeek-R1 服務(wù),為用戶提供了更多選擇。與此同時(shí),越來越多的國內(nèi)廠商接入 DeepSeek-R1 大模型服務(wù),如:阿里云、華為云、騰訊云、華為、榮耀、OPPO、科大訊飛、順豐等,涵蓋云服務(wù)、軟件與應(yīng)用服務(wù)商、手機(jī)廠商、酒店、物流供應(yīng)鏈、汽車、醫(yī)藥、媒體等行業(yè)。
為了更好地服務(wù)開發(fā)者和終端用戶,國內(nèi)領(lǐng)先的可觀測與應(yīng)用安全廠商基調(diào)聽云對多家提供 DeepSeek-R1 API 服務(wù)的廠商開展了全面評測,并發(fā)布了《大模型服務(wù)性能評測 DeepSeek-R1 API版》第一期。
此次測評利用基調(diào)聽云撥測工具,模擬真實(shí)用戶的主動(dòng)監(jiān)控,從網(wǎng)絡(luò)性能、接口響應(yīng)時(shí)間、推理速度、內(nèi)容生成速度等多個(gè)關(guān)鍵指標(biāo)對主流云服務(wù)廠商的API接口進(jìn)行了深入測試。同時(shí),測評還結(jié)合了來自多個(gè)城市、運(yùn)營商、主機(jī)和時(shí)間維度的數(shù)據(jù)分析,旨在為各行業(yè)開發(fā)者和終端用戶提供更具針對性和參考價(jià)值的建議,幫助大家選擇更快、更穩(wěn)定的 DeepSeek-R1 服務(wù)。
TL;NR(太長不看版):
(1)經(jīng)過對多家主流云服務(wù)廠商API接口的深度評測,火山引擎在 API 響應(yīng)性能上全面領(lǐng)先,各項(xiàng)指標(biāo)均顯著優(yōu)于其他服務(wù)商。DeepSeek 官方雖推理速度較好,但首 Token 延遲過長且可用性低,成為顯著短板。
(2)其他服務(wù)商表現(xiàn)分化:硅基流動(dòng)可用性較高,騰訊云與阿里云百煉速度表現(xiàn)不是太理想。
?。?)如果你不是開發(fā)者,只關(guān)心哪里能用 DeepSeek-R1,直接拉到文章結(jié)尾看我們的推薦網(wǎng)頁版服務(wù)。
評測結(jié)果及解讀
數(shù)據(jù)分析:
1. 火山引擎在平均速度、推理速度、生成速度上表現(xiàn)最優(yōu),且可用性高達(dá) 99.83%,在API接入上首選推薦。
2. DeepSeek 官方推理速度較快,但首 Token 延遲顯著(7.753s),可用性最低(42.21%)。
3. 硅基流動(dòng)首 Token 響應(yīng)快(0.714s)且可用性穩(wěn)定(98.83%),但平均速度較弱(12.426 tokens/s)。
4. 騰訊云整體性能較低,其中總性能最差(47.584s)且可用性一般(71.24%)。
5. 阿里云百煉表現(xiàn)不理想,平均速度最慢(3.684 tokens/s),首包時(shí)間也最長(1.091s),可用性尚可(87.98%)。
總體性能影響因素分析
1、服務(wù)端推理性能是主要影響因素
?在整體測試中,推理速度和生成速度的差異在廠商間表現(xiàn)較為顯著,尤其是火山引擎在推理和生成速度上表現(xiàn)優(yōu)秀,而其他廠商的性能則較為遜色。服務(wù)端推理的性能顯然是影響API整體性能的關(guān)鍵因素。
2、網(wǎng)絡(luò)因素的影響較小
?雖然網(wǎng)絡(luò)延遲(DNS 時(shí)間、連接時(shí)間等)存在一定的差異,但從測試結(jié)果來看,除非網(wǎng)絡(luò)層的延遲異常高,否則不會(huì)對整體的 API 性能產(chǎn)生根本性影響。例如,DeepSeek 官方和火山引擎的網(wǎng)絡(luò)層延遲較低,但推理和生成速度的差異更多源自服務(wù)端的處理能力,而非網(wǎng)絡(luò)本身。
因此,服務(wù)端推理性能是影響整體性能的主要因素,網(wǎng)絡(luò)層的影響相對較小,基本可以忽略不計(jì),尤其當(dāng)網(wǎng)絡(luò)延遲不超過合理范圍時(shí)。
城市維度
城市維度分析:
1. 火山引擎在以上城市均保持最高性能,且可用性全達(dá) 100%。
2. DeepSeek 官方在重慶的首 Token 時(shí)間最長12.675 秒,其他城市均在9秒內(nèi)。
3. 硅基流動(dòng)的可用性在廣州的表現(xiàn)的最差93.75%,其他城市在98%以上。
4. 其他服務(wù)商與其他指標(biāo)未見明顯差異,整體與前面的結(jié)論一致。
運(yùn)營商維度
運(yùn)營商維度分析:
1. DeepSeek 官方在中國移動(dòng)的網(wǎng)絡(luò)下建連時(shí)間0.152秒,其他運(yùn)營商均在0.05秒以內(nèi)。
2. 其他服務(wù)商指標(biāo)對比未見明顯差異,整體與前面結(jié)論一致。
主機(jī)維度
主機(jī)維度分析:該維度從各服務(wù)商提供 API 服務(wù)的目標(biāo)主機(jī) IP 地址維度分析各家服務(wù)的分布和性能。
主機(jī)數(shù)量:騰訊云主機(jī)數(shù)量最多,DeepSeek 官方主機(jī)數(shù)量最少。
主機(jī)城市:騰訊云的主機(jī)城市分布最廣,其次是火山引擎。
主機(jī)運(yùn)營商分布:騰訊云的主機(jī)運(yùn)營商分布最廣,其次是火山引擎。
時(shí)間維度(1小時(shí)粒度)
各時(shí)間段分析:
時(shí)段(2025/2/17 8:00 - 15:00)
● 特點(diǎn):DeepSeek 官方和阿里云百煉可用性波動(dòng)較大,騰訊云可用性不高,但是可用性比較穩(wěn)定,其它服務(wù)商可用性相對優(yōu)秀,穩(wěn)定。
● 原因:可能此時(shí)用戶流量較大,服務(wù)器負(fù)載也比較大,騰訊云服務(wù)商可能受到限流影響。
時(shí)段(2025/2/17 15:00 - 2025/2/18 0:00)
● 特點(diǎn):DeepSeek 官方在2025/2/17 15:00 - 17:00 服務(wù)出現(xiàn)不可用的情況,騰訊云可用性不高,但是可用性比較穩(wěn)定,其它服務(wù)商可用性相對優(yōu)秀,穩(wěn)定。
● 原因:可能此時(shí) DeepSeek 官方用戶流量較大,服務(wù)器負(fù)載也比較大,騰訊云服務(wù)商可能受到限流影響。
時(shí)段(2025/2/18 0:00 - 8:00)
● 特點(diǎn):多數(shù)服務(wù)商 API 的可用性較高,甚至達(dá)到100%。性能時(shí)長也相對較短。
● 原因:可能此時(shí)用戶流量較少,服務(wù)器負(fù)載較低,能夠?yàn)槊總€(gè)請求分配更多資源。
各服務(wù)商 API 整體性能分析:
火山引擎
● 可用性:整體非常穩(wěn)定,未出現(xiàn)明顯波動(dòng)。
● 性能:整體表現(xiàn)良好,未出現(xiàn)顯著問題。
DeepSeek 官方
● 可用性:
2025-02-17 08:00 - 2025-02-18 01:00:可用性波動(dòng)較大,從較差逐漸改善至良好。
2025-02-18 01:00 - 2025-02-18 08:00:可用性保持100%,表現(xiàn)穩(wěn)定。
● 整體性能:在可用性提升的同時(shí),性能表現(xiàn)也逐漸優(yōu)化,整體時(shí)間指標(biāo)表現(xiàn)優(yōu)秀。
硅基流動(dòng)
● 可用性:整體波動(dòng)較小,表現(xiàn)穩(wěn)定,大部分時(shí)間維持在95%以上。
● 性能:在各時(shí)間段內(nèi)有波動(dòng),但整體表現(xiàn)較為平穩(wěn)。
騰訊云
● 可用性:總體較低,但各時(shí)間段內(nèi)的波動(dòng)較小。在測評過程中,騰訊云可能受到限流影響,導(dǎo)致可用性表現(xiàn)不佳。
● 性能:在各時(shí)間段內(nèi)有波動(dòng),但整體表現(xiàn)較為平穩(wěn)。
阿里云百煉
● 可用性:
2025-02-17 08:00 - 2025-02-17 13:00:波動(dòng)明顯,之后大部分時(shí)間維持在90%以上,表現(xiàn)較為穩(wěn)定。
● 性能:2025-02-17 08:00 - 2025-02-17 13:00:波動(dòng)明顯,在其它各個(gè)時(shí)間段內(nèi)表現(xiàn)較為穩(wěn)定。
本次評測的測試工具、指標(biāo)采集、測試廠商、測試參數(shù)等詳情如下:
測試工具及指標(biāo)采集
1. 測試工具:基調(diào)聽云撥測平臺(tái)
2. 采集指標(biāo):
● 通過API返回的數(shù)據(jù)計(jì)算出來的指標(biāo)包含:平均速度(tokens/s)、首 Token 時(shí)間(s)、推理速度(tokens/s)、生成速度(tokens/s)
● 通過聽云撥測客戶端計(jì)算的指標(biāo)包含:DNS 時(shí)間(s)、建連時(shí)間(s)、握手時(shí)間(s)、發(fā)出請求時(shí)間(s)、首包時(shí)間(s)、剩余包時(shí)間(s)、性能(s) 和可用性(%)
3. 測試節(jié)點(diǎn):北京/上海/廣州/深圳/重慶/蘇州/成都/杭州/武漢九地移動(dòng)/電信/聯(lián)通三大運(yùn)營商,模擬27個(gè)終端用戶
4. 任務(wù)屬性:任務(wù)綁定(相同頻率,相同監(jiān)測點(diǎn))
5. 大模型相關(guān)的測試指標(biāo)和計(jì)算方式參考了公眾號“賽博禪心”文章“務(wù)實(shí)測試:DeepSeek 各家 API 真實(shí)速度”中提到的測試腳本。
測試廠商
騰訊云、阿里云、火山引擎、DeepSeek 官方和硅基流動(dòng)
測試參數(shù)
●測試頻率:1小時(shí)
●測試周期:2025/02/17 08:00 - 2025/02/18 08:00
●測試 Prompt:9.9和9.11這兩個(gè)數(shù)哪個(gè)更大?請?jiān)诮Y(jié)果中只輸出比較大的那個(gè)數(shù),并放在兩個(gè)"#"符號之間。
●期望響應(yīng)格式:#9.9#
指標(biāo)定義
?。?)模型性能指標(biāo)
● 首 Token 時(shí)間:從請求發(fā)起至模型返回第一個(gè)有效 Token 的時(shí)間間隔 (單位:s)
● 推理速度:模型推理階段的平均速度 (單位:tokens/s)
● 生成速度:模型生成階段的平均速度 (單位:tokens/s)
● 平均速度:模型推理和生成兩個(gè)階段的整體平均速度 (單位:tokens/s)
?。?)網(wǎng)絡(luò)指標(biāo)
● DNS:通過域名解析服務(wù),將指定的域名解析成 IP 地址的消耗時(shí)間。
● 建連:瀏覽器和 Web 服務(wù)器建立 TCP/IP 連接的消耗時(shí)間。
● SSL:瀏覽器和 Web 服務(wù)器建立安全套接層 (SSL) 連接的消耗時(shí)間。
● 首包:瀏覽器發(fā)送 HTTP 請求結(jié)束開始,到收到 Web 服務(wù)器返回的第一個(gè)數(shù)據(jù)包的消耗時(shí)間。
● 剩余包:瀏覽器接收 Web 服務(wù)器返回的第一個(gè)數(shù)據(jù)包到元素?cái)?shù)據(jù)接收結(jié)束的消耗時(shí)間。
● 性能(總下載時(shí)間):監(jiān)測一個(gè)頁面總的消耗時(shí)間,即從開始監(jiān)測到監(jiān)測結(jié)束的時(shí)間。
● 可用性:時(shí)間范圍內(nèi),目標(biāo)服務(wù)能夠被正常訪問的次數(shù)與總訪問次數(shù)的比值。
?。?)分析維度
● 運(yùn)營商:移動(dòng)/電信/聯(lián)通
● 城市:北京/上海/廣州/深圳/重慶/蘇州/成都/杭州/武漢
● 目標(biāo)主機(jī)(基于 API 服務(wù)的暴露的 IP 地址)
本次測評旨在為開發(fā)者提供深度數(shù)據(jù)支撐,助力其精準(zhǔn)洞察各服務(wù)商 API 接口的性能表現(xiàn),從而有針對性地優(yōu)化產(chǎn)品體驗(yàn)。對于開發(fā)者和企業(yè)用戶而言,這些數(shù)據(jù)可以作為服務(wù)商選擇的決策依據(jù),可以依托本次測評數(shù)據(jù),更科學(xué)地甄別適配自身需求的技術(shù)方案,有效提升調(diào)用效率,大幅降低響應(yīng)延遲,全方位增強(qiáng)整體服務(wù)質(zhì)量。
免責(zé)聲明:以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體,相關(guān)信息僅為傳遞更多信息之目的,不代表本網(wǎng)觀點(diǎn),亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。如稿件版權(quán)單位或個(gè)人不想在本網(wǎng)發(fā)布,可與本網(wǎng)聯(lián)系,本網(wǎng)視情況可立即將其撤除。