極客號（Daydx.com）12月13日 消息:Together AI最新發(fā)布了StripedHyena-7B，這一人工智能模型領(lǐng)域的創(chuàng)新力量引起了廣泛關(guān)注。該模型的基礎(chǔ)版本為StripedHyena-Hessian-7B（SH7B），同時還推出了聊天模型StripedHyena-Nous-7B(SH-N7B)。StripedHyena基于上一年創(chuàng)建的一系列有效的序列建模架構(gòu)(如H3、Hyena、HyenaDNA和Monarch Mixer)的重要經(jīng)驗教訓(xùn)。

研究人員強(qiáng)調(diào)，StripedHyena在訓(xùn)練、微調(diào)和生成長序列過程中處理效率更高，具備更快的速度和更高的內(nèi)存效率。通過采用獨特的混合技術(shù)，StripedHyena將門控卷積和注意力結(jié)合成了所謂的Hyena運算符。在短序列任務(wù)中，包括OpenLLM排行榜任務(wù)，StripedHyena在性能上超越了Llama-27B、Yi7B以及最強(qiáng)大的Transformer替代品，如RWKV14B。

該模型在處理短序列任務(wù)和處理長提示的各種基準(zhǔn)測試中都進(jìn)行了評估。通過對Project Gutenberg書籍進(jìn)行的困惑度縮放實驗顯示，困惑度在32k處飽和，或在此點以下減少，表明該模型能夠從更長的提示中吸收信息。

StripedHyena通過將注意力和門控卷積組合成Hyena運算符的獨特混合結(jié)構(gòu)實現(xiàn)了高效性。研究人員采用創(chuàng)新的嫁接技術(shù)對這種混合設(shè)計進(jìn)行了優(yōu)化，使其在訓(xùn)練過程中能夠進(jìn)行體系結(jié)構(gòu)修改。

研究人員強(qiáng)調(diào)StripedHyena的關(guān)鍵優(yōu)勢之一是其在訓(xùn)練、微調(diào)和生成長序列等各種任務(wù)中的提速和內(nèi)存效率。在端到端訓(xùn)練的32k、64k和128k行上，StripedHyena相對于優(yōu)化的Transformer基線（使用FlashAttention v2和自定義內(nèi)核）分別提高了30%、50%和100%。

未來，研究人員希望在StripedHyena模型的多個領(lǐng)域取得重大進(jìn)展。他們計劃構(gòu)建更大的模型，以處理更長的上下文，拓展信息理解的界限。此外，他們計劃引入多模態(tài)支持，通過允許模型處理和理解來自文本和圖像等各種來源的數(shù)據(jù)，提高模型的適應(yīng)性。

StripedHyena模型有望通過引入額外的計算（例如在門控卷積中使用多個頭部）在性能上超越Transformer模型。這種受線性注意力啟發(fā)的方法在H3和MultiHyena等架構(gòu)中被證明在訓(xùn)練期間提高模型質(zhì)量，并為推斷效率提供優(yōu)勢。讀者可以查看該項目的博客和項目詳細(xì)信息，對此研究給予所有研究人員應(yīng)有的贊譽。

項目網(wǎng)址:https://huggingface.co/togethercomputer/StripedHyena-Hessian-7B

博客:https://www.together.ai/blog/stripedhyena-7b