其次是工程上的優(yōu)化。大模型的調用量越大,優(yōu)化推理成本的空間也越大。以前的模型都是單機推理,大模型用的是分布式推理。所以如果能把各種各樣的底層算力用得更好,推理成本就會大大降低。
另外以字節(jié)內部業(yè)務為例,飛書的主要流量高峰在工作時間,抖音在下班后休閑時間的流量更高,這些不同業(yè)務的大模型推理,也能根據業(yè)務特點錯峰使用,就可以降低成本。
dafa888唯一登录网站25月15日,字節(jié)跳動豆包大模型在火山引擎原動力大會上正式發(fā)布。火山引擎總裁譚待在接受媒體采訪時,談到了大模型的定價策略。
譚待進一步解釋說,豆包大模型平均每天處理1200億Tokens文本、生成3000萬張圖片,這里有不同的負載,可以把不同任務混合在一起,互相錯峰,通過智能調度把它們的利用率都跑得很高,就能極大地提升資源利用率,實現(xiàn)整體成本的優(yōu)化。
豆包大模型的超低價格引發(fā)行業(yè)震動。據悉,豆包主力模型的推理輸入價格只有0.0008元/千Tokens,比行業(yè)便宜99.3%。對此,譚待坦言,“降價是用技術優(yōu)化成本來實現(xiàn)的。如果只是補貼,用虧損換收入是不可持續(xù)的,火山引擎不會走這條路。”
對于“大模型開始價格戰(zhàn)”的說法,譚待認為,大模型市場仍在發(fā)展初期,遠遠沒到激烈競爭的階段?!俺靥劣卸啻螅~就有多大,現(xiàn)在整個池塘還在培養(yǎng)的過程?!?/p>
@聯(lián)系我們
-應用內反饋:「我」-「右上角菜單」-「設置」-「反饋與幫助」
客戶24小時在線服務
網友評論更多
84黑河m
印度高溫猴子熱到脫水被警員救活★☆
2024-09-25 10:21:27 推薦
187****6233 回復 184****1263:獨庫公路亂撒釘子?警方回應☇來自大慶
187****5814 回復 184****9482:冰淇淋重回5元時代☈來自伊春
157****5459:按最下面的歷史版本☉☊來自鶴崗
85佳木斯722
被6歲小孩姐的肌肉線條硬控了☋☌
2024-09-23 04:29:50 推薦
永久VIP:女子就餐狗被服務員放工作間悶死☍來自雙鴨山
158****7436:東帝汶總統(tǒng):臺灣是中國的一部分☎來自七臺河
158****7528 回復 666☏:5歲女孩跳英歌舞又猛又萌☐來自雞西
75牡丹江wg
送外賣被攔發(fā)現(xiàn)保安是發(fā)小☑☒
2024-09-25 21:58:20 不推薦
綏化zi:慶余年收官張若昀發(fā)千字長文☓
186****7151 回復 159****1581:印度一天至少85人因高溫死亡☔