AI運作成本分析¶
- 我們要算的是硬體的能力,也就是單位電力KWh 可以產生的算力 PFLOPS (FP32, FP16, FP8, FP4). PFLOPS/KW
或是單位算力要使用多少電力 變動成本 KW/PFLOPS
- 我們要計算式的硬體的成本,這裡要計算的是單位算力 PFOPS 的固定硬體成本 $, Fixed costs = depreciation costs + operation costs
$$ COST_{/text{FLOPS}} = /$/PFLOPS = /text{Running variable cost} + /text{Fixed cost} $$
- AI模型的能力, 相同的問題要給出滿意的答案所需要的算力 PFLOPS, 如果這3個都能夠算的清楚,就可以很清楚整個成本架構。
η × u