發(fā)現(xiàn)：一項(xiàng)新技術(shù)能將AI能源消耗降低95%

在人工智能領(lǐng)域，能源消耗一直是一個(gè)備受關(guān)注的問題。現(xiàn)在，BitEnergy AI公司的研究人員開發(fā)了一種名為線性復(fù)雜度乘法（L-Mul）的技術(shù)，這項(xiàng)技術(shù)有潛力將AI模型的功耗降低95%，而不會(huì)犧牲模型的質(zhì)量。

L-Mul技術(shù)通過在AI計(jì)算中用更簡單的整數(shù)加法替換能耗大的浮點(diǎn)乘法來實(shí)現(xiàn)這一目標(biāo)。對(duì)于那些不熟悉這個(gè)術(shù)語的人來說，浮點(diǎn)是一種數(shù)學(xué)和編程術(shù)語，它允許計(jì)算機(jī)通過調(diào)整小數(shù)點(diǎn)的位置高效地處理非常大和非常小的數(shù)字。你可以將其視為二進(jìn)制中的科學(xué)記數(shù)法。它們對(duì)于AI模型中的許多至關(guān)重要的計(jì)算，但它們需要大量的能源和計(jì)算能力。模型越大，所需的算力就越多。從fp32的全精度模型開始，開發(fā)者通常會(huì)降低精度到fp16、fp8甚至fp4，以便他們的模型可以在本地硬件上運(yùn)行。

AI對(duì)電力的龐大需求已經(jīng)成為一個(gè)日益增長的擔(dān)憂。僅ChatGPT每天就消耗564兆瓦時(shí)——足以為18,000個(gè)北美家庭供電。根據(jù)劍橋替代金融中心分享的估計(jì)，到2027年，整個(gè)AI行業(yè)的年能源消耗預(yù)計(jì)將達(dá)到850-1340太瓦時(shí)，與比特幣挖礦操作大致相同。

L-Mul技術(shù)直接解決了AI能源問題，重新構(gòu)想了AI模型處理計(jì)算的方式。與傳統(tǒng)的浮點(diǎn)乘法不同，L-Mul使用整數(shù)加法來近似這些操作。例如，而不是將123.45乘以67.89，L-Mul將其分解為使用加法的更小、更簡單的步驟。這使得計(jì)算更快，使用的能源更少，同時(shí)仍然保持準(zhǔn)確性。

研究結(jié)果看起來非常有希望。研究人員聲稱，“在張量處理硬件中應(yīng)用L-Mul操作可以潛在地通過元素級(jí)別的浮點(diǎn)張量乘法減少95%的能源成本，以及點(diǎn)積的80%能源成本。”簡而言之，如果一個(gè)模型使用了這項(xiàng)技術(shù)，根據(jù)這項(xiàng)研究，它將以比原來少95%的能源來“思考”，以及比原來少80%的能源來產(chǎn)生新的想法。

該算法的影響不僅限于節(jié)能。在某些情況下，L-Mul的性能甚至超過了當(dāng)前的8位標(biāo)準(zhǔn)，在使用顯著更少的位級(jí)計(jì)算的同時(shí)實(shí)現(xiàn)了更高的精度。在自然語言處理、視覺任務(wù)和符號(hào)推理的測試中，平均性能下降僅為0.07%——對(duì)于潛在的能源節(jié)省來說，這是一個(gè)微不足道的權(quán)衡。

基于Transformer的模型，如GPT等大型語言模型的支柱，可能會(huì)從L-Mul中大大受益。該算法可以無縫集成到這些模型的注意力機(jī)制中，這是計(jì)算密集型的部分。在流行的模型如Llama、Mistral和Gemma上的測試甚至表現(xiàn)出在某些視覺任務(wù)上的準(zhǔn)確性的提升。

在操作層面上，L-Mul的優(yōu)勢(shì)變得更加明顯。研究表明，乘以兩個(gè)float8數(shù)字（AI模型今天的運(yùn)行方式）需要325次操作，而L-Mul僅使用157次——不到一半。“總結(jié)誤差和復(fù)雜度分析，L-Mul不僅比fp8乘法更高效，而且更準(zhǔn)確。”研究人員得出結(jié)論。

但沒有什么技術(shù)是完美的，這項(xiàng)技術(shù)有一個(gè)主要的弱點(diǎn)：它需要特殊類型的硬件，因此現(xiàn)行的硬件對(duì)其而言還沒有得到充分優(yōu)化。

支持L-Mul計(jì)算的專用硬件開發(fā)計(jì)劃可能已經(jīng)在進(jìn)行中。“為了充分激發(fā)我們提出的方法的潛力，我們將在硬件層面上實(shí)現(xiàn)L-Mul和L-Matmul內(nèi)核算法，并為高級(jí)模型設(shè)計(jì)開發(fā)編程API。”研究人員表示道。這可能誘發(fā)新一代的AI模型誕生，它們快速、準(zhǔn)確且成本極低——使能源高效的AI成為現(xiàn)實(shí)。