極客號(hào)（Daydx.com）12月22日 消息:騰訊和德州大學(xué)達(dá)拉斯分校的研究團(tuán)隊(duì)合作開(kāi)發(fā)了一個(gè)名為AppAgent的項(xiàng)目，該項(xiàng)目可以通過(guò)自主學(xué)習(xí)和模仿人類(lèi)的點(diǎn)擊和滑動(dòng)手勢(shì)，在手機(jī)上執(zhí)行各種任務(wù)。

這包括在社交媒體上發(fā)帖、幫助用戶(hù)撰寫(xiě)和發(fā)送郵件、使用地圖、在線購(gòu)物，甚至進(jìn)行復(fù)雜的圖像編輯。AppAgent在50個(gè)任務(wù)上進(jìn)行了廣泛測(cè)試，涵蓋了10種不同的應(yīng)用程序。

項(xiàng)目地址：https://github.com/mnotgod96/AppAgent

AppAgent的主要功能特點(diǎn)包括多模態(tài)代理、直觀交互、自主學(xué)習(xí)和構(gòu)建知識(shí)庫(kù)。作為一個(gè)基于大語(yǔ)言模型的多模態(tài)代理，AppAgent能夠處理和理解多種類(lèi)型的信息，使得它能夠理解復(fù)雜的任務(wù)并在各種不同的應(yīng)用程序中執(zhí)行這些任務(wù)。

它能夠通過(guò)模仿人類(lèi)的直觀動(dòng)作來(lái)與智能手機(jī)應(yīng)用程序交互，就像一個(gè)真人用戶(hù)一樣。通過(guò)觀察和分析不同應(yīng)用程序中的用戶(hù)界面交互，AppAgent能夠自主學(xué)習(xí)并構(gòu)建知識(shí)庫(kù)，記錄了不同應(yīng)用程序的操作方法和界面布局，以便指導(dǎo)代理在不同應(yīng)用程序中執(zhí)行任務(wù)。

一旦學(xué)習(xí)了應(yīng)用程序的操作方式，AppAgent就能夠執(zhí)行跨應(yīng)用程序的復(fù)雜任務(wù)，如發(fā)送電子郵件、編輯圖片或進(jìn)行在線購(gòu)物。這一創(chuàng)新的技術(shù)為用戶(hù)提供了更便捷和高效的手機(jī)應(yīng)用程序操作體驗(yàn)。