供本地使用的 LLM（大型語言模型）通常作為一組權(quán)重分布在數(shù) GB 文件中。這些軟件不能直接單獨使用，這通常使得它們比其他軟件更難分發(fā)和運行。給定的模型也可能經(jīng)歷了更改和調(diào)整，如果使用不同的版本，則會導(dǎo)致不同的結(jié)果。

Mozilla 的創(chuàng)新團(tuán)隊最近發(fā)布了 llamafile，這是一種開源方法，用于將一組權(quán)重轉(zhuǎn)換為單個可在六種不同操作系統(tǒng)（macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD）上運行的二進(jìn)制文件，無需安裝。這大大簡化了大型語言模型（LLMs）的分發(fā)和運行，并確保特定版本的 LLM 保持一致性和可重現(xiàn)性。

這一成就離不開 [Justine Tunney] 的貢獻(xiàn)，他是一次構(gòu)建、多處運行框架 Cosmopolitan 的創(chuàng)造者。另一個主要部分是 llama.cpp，它在運行自托管 LLM 方面具有重要作用。

有一些使用 Mistral-7B、WizardCoder-Python-13B 和 LLaVA 1.5 LLMs 的示例二進(jìn)制文件可供使用。需要注意的是，如果您使用的是 Windows 平臺，只有 LLaVA 1.5 能運行，因為它是唯一一個符合 Windows 對可執(zhí)行文件 4 GB 大小限制的模型。如果遇到問題，請查看「常見問題」列表以獲取故障排除提示。

llamafile 的發(fā)布標(biāo)志著在大型語言模型的分發(fā)和運行方面的進(jìn)步。這不僅降低了使用這些模型的技術(shù)門檻，也使得開發(fā)者和研究人員能夠更容易地在多種操作系統(tǒng)上使用這些強(qiáng)大的 AI 工具。

隨著越來越多的 LLMs 的開發(fā)和應(yīng)用，llamafile 提供了一個有效的解決方案，以確保這些模型的有效和一致的使用。

據(jù)了解，在這里提到的權(quán)重是指在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域中的一個術(shù)語。在大型語言模型（LLMs，如 GPT-4）中，權(quán)重是模型在訓(xùn)練過程中學(xué)習(xí)到的參數(shù)，用來確定輸入數(shù)據(jù)如何轉(zhuǎn)換為輸出結(jié)果。這些權(quán)重決定了模型如何解釋和處理輸入的數(shù)據(jù)。

因此，當(dāng)說到 LLMs 通常以多個 Gigabyte 的文件形式分發(fā)一組權(quán)重時，意味著這些文件包含了模型在訓(xùn)練過程中學(xué)到的所有必要參數(shù)。這些權(quán)重文件本身不能直接使用，需要通過特定的軟件框架或環(huán)境來加載和運行，這使得與其他類型的軟件相比，它們的分發(fā)和運行更加復(fù)雜。