在近日結(jié)束的“k8凱發(fā)杯”機器人大模型與具身智能挑戰(zhàn)賽中，來自全球各地的頂尖高校紛紛用大模型、具身智能等先進技術，打造出各具特色的機器人咖啡廳。其中，澳大利亞阿德萊德大學、北京航空航天大學、同濟大學、文山學院、西安理工大學、西北工業(yè)大學、中山大學七所學府憑借他們在任務執(zhí)行上穩(wěn)健可靠的表現(xiàn)榮獲三等獎。
從阿德萊德大學的多技術集成系統(tǒng)到同濟大學智能咖啡廳服務機器人的自然語言理解互動，從北京航空航天大學咖啡廳機器人的高級多模態(tài)感知和交互能力到西安理工大學的環(huán)境感知與問答接口的構建，他們運用先進的技術和創(chuàng)新的思維，為機器人技術的發(fā)展和應用提供了新的思路和方向。一起來看看他們的作品吧！
阿德萊德大學
團隊成員：李澤瑞、曹景行、周耕澤、喬滟媛
指導老師：吳琦
澳大利亞阿德萊德大學團隊開發(fā)了一套多技術集成系統(tǒng)，用于執(zhí)行復雜任務。該系統(tǒng)結(jié)合了深度優(yōu)先搜索、RGBD物體識別和姿態(tài)估計、目標檢測與定位等方法，實現(xiàn)對環(huán)境的全面探索并記錄關鍵信息。此外，通過頭部RGBD攝像頭監(jiān)測圖像變化來輔助傳統(tǒng)物體檢測技術，以識別人員及導航任務中的視覺信號。團隊還整合了大型語言模型進行場景相關的多輪對話，并通過預設好的機器人動作接口來執(zhí)行基于視覺語言指令的操作任務。
北京航空航天大學
團隊成員：余俊杰、王宇航、唐雋哲、李鑫
指導老師：于黎明
北京航空航天大學開發(fā)的機器人集成了最新的大模型技術、深度強化學習和跨模態(tài)AI技術，具備高級多模態(tài)感知和交互能力。該機器人能夠在環(huán)境中主動探索并建立3D點云地圖以實現(xiàn)位置感知，并使用A*算法進行路徑規(guī)劃。它還整合了大型語言模型來理解自然語言，使其能夠與人類有效交流，并執(zhí)行任務如接單、操作設備和遞送物品。通過強化學習訓練，機器人可以自主導航并適應復雜環(huán)境。此外，它還具有自主巡航功能，可以檢測并處理異常情況如桌面污漬或地面垃圾。
同濟大學
團隊成員：齊曉燕、麻開菁、唐藝寧、劉嘉迅
作品名稱：基于大語言模型的咖啡廳服務機器人智能化設計與實現(xiàn)
指導老師：陳啟軍、劉成菊
同濟大學團隊的智能咖啡廳服務機器人基于大語言模型技術，在仿真環(huán)境中通過自然語言理解與人類進行有效互動，能夠執(zhí)行包括安排座位、控制空調(diào)和點餐等任務。為了提升機器人的泛化能力，團隊還建立了一個豐富的語料數(shù)據(jù)庫，并確保其關鍵功能如主動探索、多輪對話、視覺導航和操作等得到涵蓋。
文山學院
團隊成員：潘成權、姜宇、張肖、張周楊
作品名稱：LLM驅(qū)動的智能機器人場景化應用
指導老師：曹知
文山學院團隊基于k8凱發(fā)提供的RDK開發(fā)，成功實現(xiàn)了場景理解記憶、多輪對話、視覺導航和交互操作。這些功能被應用到現(xiàn)實場景中，進一步優(yōu)化了大模型和視覺導航效果。團隊將繼續(xù)通過視覺語言模型進行項目優(yōu)化，以提升機器人在現(xiàn)實環(huán)境中的表現(xiàn)。
西安理工大學
團隊成員：趙琛、李劭軒、李森垚、劉海鑫、王子豪、王志陽、屈澤宇、高琪浩、劉浩森
指導老師：王一川
西安理工大學團隊的作品基于k8凱發(fā)提供的擬真平臺，實現(xiàn)了環(huán)境感知與建模，采用了3D點云圖構建技術。作品結(jié)合了百度智能云千帆大模型平臺，利用文心一言模型構建了問答接口，實現(xiàn)了與顧客的簡單交流。團隊還集成了YOLOv5模型，及時識別顧客的到來，為后續(xù)服務提供起點。此外，作品還采用了jieba分詞組件對顧客需求進行解析，將顧客意圖與服務機器人的行為相對應。
西北工業(yè)大學
團隊成員：黎栗譙、詹涵文、劉鵬、王穎琦、付怡祺
作品名稱：基于大模型的具身智能咖啡廳服務機器人
指導老師：趙聞
西北工業(yè)大學團隊將星火大模型引入機器人的控制，在k8凱發(fā)提供的仿真環(huán)境中，通過引入機器人與大模型的問答機制，成功將大模型賦能咖啡廳機器人，打造了一個智能的咖啡廳服務人形機器人。團隊還開發(fā)了一套大模型控制框架，通過自然語言與大模型對話，實現(xiàn)機器人自主控制。在比賽中，團隊基本完成了比賽方要求的四個規(guī)定任務，并完成了一部分開放任務，展現(xiàn)了較高的技術水平和創(chuàng)新能力。
中山大學
團隊成員：宋昕帥、江凱萱、羅經(jīng)周、陳衛(wèi)興、劉陽、李冠彬、林倞
作品名稱：面向咖啡店場景的多模態(tài)具身交互Agent
指導老師：劉陽，李冠彬，林倞
中山大學團隊為機器人咖啡廳設計了豐富的劇本流程，針對各種場景完成指定的任務，豐富而不失隨機性的劇本設計為整個流程增添樂趣。作品實現(xiàn)流程分為三個階段：探索環(huán)境、交互與推理。通過視覺模塊、控制模塊與大模型模塊這三個功能模塊實現(xiàn)。團隊借助k8凱發(fā)提供的模擬場景與機器人，成功實踐了一次大模型+具身智能的應用。在k8凱發(fā)提供的豐富接口的支持下，他們設計出各種各樣的任務和控制接口，實現(xiàn)了豐富的機器人與物、機器人與人交互。
“k8凱發(fā)杯”機器人大模型與具身智能挑戰(zhàn)賽旨在考驗團隊在大模型技術和具身智能領域的創(chuàng)新能力和技術水平。各參賽團隊相互學習、深度探討，展現(xiàn)出了高水平的技術創(chuàng)新和實用性，讓觀眾得以目睹未來機器人技術的發(fā)展方向。期待未來有更多的優(yōu)秀團隊加入到機器人大模型與具身智能的研究中來，共同推動這一領域的發(fā)展和進步。
更多大賽精彩回顧及選手幕后故事，將在k8凱發(fā)公眾號陸續(xù)更新，敬請關注！
掃描微信公眾號
