2024年10月23日,理想汽車行業首創的全新一代雙系統智能駕駛解決方案端到端+VLM(視覺語言模型),隨OTA6.4版本車機系統進行全量推送。本次OTA更新重點圍繞智能駕駛能力升級,智能空間和智能電動也同步更新,為用戶帶來更全面的智能出行體驗。
智能駕駛方面,基於理想汽車一直以來對安全的重視,經過大規模測試,智能駕駛裡程超25億公裡;用戶接受度高,80%用戶使用NOA駕駛,高端車型AD Max訂單超70%。技術先進:訓練算力達5.39億Eflops,雙系統架構每周更新兩次。性能提升:新版本V4.8.6優化城市駕駛,增強超車、導航、障礙物檢測和停止線識別能力。駕駛體驗佳:實現全面場景覆蓋,行駛舒適,通行高效,智能駕駛價值提升。
端到端模型擬人化程度再上新臺階,駕駛習慣媲美老司機
理想汽車端到端+VLM是集成瞭真正意義上的One-Model結構端到端模型+全球獨創的VLM視覺語言模型,且率先將視覺語言模型VLM部署到車端芯片上的雙系統方案,從創新技術階段到實際落地,智能化、擬人化、穩定性程度持續穩步提升。
本次OTA6.4全量版本在端到端方面,新版本增加瞭路邊起步、U形掉頭、環島通行等功能,增強瞭擁堵路況下的駕駛能力,實現瞭城區無斷點駕駛和復雜場景下的精準操作,為用戶提供更加便利暢快的智能駕駛體驗。
當處於路邊起步場景時,端到端模型直接輸出軌跡,減少對車道的依賴。即使車輛不在車道中,也可以啟發式搜索出一條從路邊駛入主路的路線,實現P擋狀態下雙擊撥桿直接起步,無需在車道內啟動。起步過程中可實現環顧周圍判斷危險,自主禮讓、避讓等。
模型基於人類駕駛數據訓練,能更好地理解復雜道路結構,準確預測障礙物軌跡,實現安全駕駛。更強的側向感知能力實現“看得遠、看得準”,在掉頭過程中,可以更準確識別和預測對向直行車輛的行駛軌跡並做出避讓動作,在環島通行中可以更準確識別和預測旁側切入車輛的行駛軌跡並進行合理博弈,進出環島決策更果斷,出口選擇更精準。
此外,端到端還通過學習各種駕駛場景下的大量老司機數據,依賴純模型式的算法,實現更擬人的加塞和蠕行博弈動作,它能在前車減速時繞行,無保護左轉時選擇車流量小的車道,並且由於端到端的低時延,能快速反應於車輛和行人的切入,確保安全和效率。
VLM視覺語言模型實現遵守交規,通行更加合理高效
截止目前,理想汽車的VLM視覺語言模型已擁有22億參數,能更好地理解復雜交通環境。適應性強,應對未知場景,像人類一樣駕駛。隨著OTA6.4版本更新後,通過學習老司機數據和特殊場景,能在道路上識別中文信息,理解語義,識別潮汐車道等,輔助完成從端到端的完整駕駛循環。
列如,能讀懂公交車道限行標志和黃線;可識別潮汐車道和可變車道,正確選擇通行;在丁字路口主動減速,提高安全感;可識別減速帶、坑窪、無燈、學校、施工等場景,提前減速並告警;在主輔路或高架場景中,準確識別車輛位置,糾正導航,確保路線正確。
不僅如此,OTA6.4版本還優化瞭高速NOA功能,在高速&城市快速路場景,針對前方慢車,具備更早識別、果斷發起超車動作,更高效更安全。
雙系統交互體驗全新升級,用戶體驗更加便利
除瞭雙系統在智能駕駛功能方面的重磅升級,用戶交互體驗方面也迎來瞭全新體驗。OTA6.4全量版本推送後,理想汽車端到端+VLM智能駕駛雙系統在車機交互頁面展示更加清晰全面,系統的“所見所想”實時交互,讓智駕全程可理解更安心。
系統1“快思考”的端到端模型文字彈窗相比無圖NOA版本更加豐富更加易懂,實時交互按導航、交規、效率、博弈、註意提醒等相關的執行邏輯和動作。系統2“慢思考”的VLM視覺語言模型新增圖文視窗,在特殊場景下,將前方感知到的畫面投射到頁面內,配合文案講解模型的思考過程和結果。讓用戶在實際用車過程中,對於雙系統智能駕駛功能“看得見、摸得著”,切身感受到雙系統的智能與便利。
智能空間“玩轉任務大師”
智能空間方面,理想汽車始終聚焦用戶價值,以用戶體驗為核心,通過AI人工智能加持,打造智能座艙體驗標桿。OTA6.4版本新增任務大師2.0,集成理想同學和Mind GPT,功能更智能全面。
導航地圖升級到高德AutoSDK 750版,新增綠波車速、路口預警等功能。另外,當導航中發起沿途搜時,可通過觸控+語音任意指定搜索關鍵詞,針對指定類型的沿途搜具備精細篩選,例如充電站搜索時可以篩選品牌、功率,加油站搜索可以篩選品牌。出行類問答結果會在理想同學語音框中生成語音地圖卡,結圖文結合,展示更形象。此外,還新增瞭桌面卡片區間測速顯示、智能通勤卡開關。
高德 AutoSDK 750版本地圖界面
理想同學新增表情包和眼神追蹤,新增思考、開心、疑惑表情,在陣列mic加持下,理想同學眼神可跟隨發音人位置移動;理想同學語音模型也進行升級,離線語音接近在線效果,英文播報更自然;理想同學車控響應速度再度提升10%-20%;娛樂助手新增娛樂應用內容點播語義直達;用車助手新增OTA相關問答及操作指令。
MEGA車型新增艙內後視應用,隨時查看後排兒童/乘客情況;MEGA車型新增二排右側一鍵尊享座椅,一鍵開啟極致乘車體驗;L系列新增一三排對講,高噪場景下依然輕松對談。
理想MEGA二排尊享座椅
智能電動新增超充報告和充電站功率區間篩選器
智能電動方面,隨著理想超充站越來越多,超充報告自然也不能落下。新增理想4C/2C/優選站超充報告。充電完成後自動生成超充報告,純電/增程車型均可查看本次充電詳情,充電時長、裡程、峰值功率、平均功率等信息一目瞭然。可一鍵發送至手機,查看、保存、分享一氣呵成;
同時新增充電站功率區間篩選器,篩選調節更直觀,方便查找合適的充電站,高效穩定,實現城區、高速充電無憂。
超充報告
充電站功率區間篩選器
100萬輛車對智能駕駛來說是一個非常關鍵的指標,近日,理想汽車已完成第一百萬輛交付。同時,得益於理想汽車長期堅持核心技術自研,不斷加碼研發投入,這一次,理想汽車行業首創的全新一代智駕解決方案端到端+VLM也迎來瞭全量推送的重磅裡程碑時刻。自此,理想汽車智能駕駛正式邁入AI大模型時代,將為百萬理想用戶帶來更舒適、更全面、更高效的智能駕駛出行體驗。未來,理想汽車還將在智能駕駛、智能電動、智能空間等方面全方位持續發力,向著成為全球領先的人工智能企業,為更多用戶創造移動的傢、創造幸福的傢而不斷努力。