- AI代理（AI Agents）的崛起：從過去的LLM到現在具備感知、規劃與執行能力的AI代理，代表AI正從「理解」走向「行動」，將成為下一代自動化的核心驅動力。
- 多模態AI的應用深化：結合視覺與語言理解，使AI能夠更全面地感知和理解真實世界的複雜情境，尤其在UI自動化領域展現巨大潛力。
- 開源生態系統的加速創新：頂尖研究機構和企業將更多先進AI模型與工具開源，極大地降低了技術門檻，加速了全球範圍內的AI應用創新與普及。
- 超自動化（Hyperautomation）的演進：視覺網頁代理的加入，豐富了超自動化的工具箱，使其能夠整合RPA、BPM、AI/ML等多種技術，實現更端到端的、智能化的業務流程自動化。
- 人機協作模式的轉變：AI代理將不再僅僅是後台的工具，而是能直接與人類在數位介面上協作的夥伴，共同完成複雜任務，提升整體生產力。
- 從API驅動到UI驅動的自動化補充：當標準API不可用或不夠靈活時，UI驅動的視覺代理提供了強大的補充方案，確保任何網頁應用都能被納入自動化範疇。
開源AI視覺網頁代理MolmoWeb：重塑企業數位互動與自動化格局
AI技術與產業落地應用
2026-04-02
開源視覺網頁代理：數位自動化新典範
在數位轉型浪潮中，企業對效率與自動化的追求從未停歇。近年來，人工智慧（AI）的快速發展，尤其是在多模態模型與代理系統（Agent Systems）領域的突破，正為企業營運模式帶來顛覆性的變革。近日，由艾倫人工智慧研究所（Ai2）發布的MolmoWeb開源視覺網頁
在數位轉型浪潮中，企業對效率與自動化的追求從未停歇。近年來，人工智慧（AI）的快速發展，尤其是在多模態模型與代理系統（Agent Systems）領域的突破，正為企業營運模式帶來顛覆性的變革。近日，由艾倫人工智慧研究所（Ai2）發布的MolmoWeb開源視覺網頁
文章核心摘錄
- MolmoWeb開源大幅降低AI網頁自動化門檻，賦予企業自定義開發與部署彈性。
- 視覺網頁代理能顯著提升跨系統資料整合與流程自動化效率，尤其適用於ERP及複雜網頁操作。
- 企業導入此類AI代理，需全面評估資安風險、資料隱私與系統整合挑戰，以確保穩健運行。
趨勢與脈絡分析
開源視覺網頁代理：數位自動化新典範
在數位轉型浪潮中，企業對效率與自動化的追求從未停歇。近年來，人工智慧（AI）的快速發展，尤其是在多模態模型與代理系統（Agent Systems）領域的突破，正為企業營運模式帶來顛覆性的變革。近日，由艾倫人工智慧研究所（Ai2）發布的MolmoWeb開源視覺網頁代理，無疑是這一趨勢中的一個關鍵里程碑。該系統基於先進的Molmo 2多模態模型家族，不僅提供4B與8B兩種模型規模，更將模型權重、訓練資料、代理與推論程式碼悉數公開，為企業界開啟了全新的自動化想像。
MolmoWeb的核心意義在於，它將AI從過去被動的資訊處理者，提升為能主動感知並操作數位介面的「執行者」。這類視覺網頁代理能夠根據人類給予的任務指令，結合當前網頁的視覺截圖，自主地在瀏覽器中執行點擊、輸入、捲動等一系列操作。這不僅突破了傳統自動化工具的限制，更為那些缺乏API介面、或介面複雜多變的網頁應用，提供了前所未有的自動化解決方案。
MolmoWeb 的技術核心與運作機制
MolmoWeb的技術基石在於其多模態大型語言模型（MLLM）。傳統的語言模型主要處理文字資訊，而多模態模型則能同時理解並整合不同類型的數據，例如文字、圖像、音頻或影片。在MolmoWeb的應用場景中，這意味著AI模型不僅能理解文字指令，更能「看懂」網頁的視覺佈局、元素位置與內容。當使用者給予一個任務（例如：「在搜尋框輸入『AI趨勢』並點擊搜尋按鈕」），MolmoWeb會：
1. 感知環境：擷取當前網頁的完整螢幕截圖，並將其作為視覺輸入。同時，它會解析網頁的DOM結構（文件物件模型），獲取每個可互動元素的詳細資訊，如其類型、ID、文本內容和螢幕座標。
2. 理解任務與意圖：將文字指令與視覺輸入一併送入其內部的Molmo 2模型。模型會根據其訓練知識，理解任務的具體目標以及如何在當前網頁狀態下達成該目標。
3. 決策與規劃：模型基於理解，生成一系列的「動作計畫」。這可能包括識別特定的輸入框、按鈕的位置，以及相應的操作類型（如`click`、`type`、`scroll`）。
4. 執行操作：將規劃好的動作指令傳遞給瀏覽器，由瀏覽器執行實際的點擊、輸入或捲動操作。
5. 反饋與迭代：執行動作後，系統會再次感知網頁狀態，並根據新的截圖和進度，判斷是否需要進行下一步操作，直至任務完成。
這種「感知-決策-執行-反饋」的循環機制，賦予了MolmoWeb高度的自主性和適應性，使其能夠處理複雜且動態變化的網頁環境。
企業導入視覺網頁代理的戰略價值
MolmoWeb這類視覺網頁代理的出現，對企業的戰略價值是多方面的。首先，它極大地擴展了自動化的邊界。許多企業仍有大量依賴人工手動操作網頁的流程，這些流程往往因為缺乏標準化API而難以自動化。視覺網頁代理能夠模擬人類的瀏覽行為，有效填補了傳統RPA（機器人流程自動化）在應對複雜、非結構化或經常變動的網頁介面時的不足。
其次，它能顯著提升跨系統資料整合的效率與準確性。在許多企業環境中，不同部門或供應商的資訊系統可能運行在各自獨立的網頁介面上，導致資訊孤島。透過視覺網頁代理，企業可以自動從這些網頁介面中提取關鍵數據，並將其輸入到核心的ERP系統、CRM或其他業務應用中，實現數據的無縫流動，減少人工錯誤，並加速決策過程。
開源帶來的彈性與自主性
MolmoWeb以開源形式發布，其戰略意義不容小覷。對於企業而言，開源意味著更高的透明度、更低的初期部署成本以及無與倫比的客製化彈性。企業可以自行託管MolmoWeb，完全掌控其數據流與運作環境，這對於高度重視數據安全與合規性的企業尤其重要。此外，開放的模型權重、訓練資料與程式碼，讓企業的技術團隊能夠根據自身特定業務場景進行模型微調（fine-tuning），甚至開發專屬的代理行為模組，以應對高度客製化的自動化需求。這種自主性不僅能加速創新，也能確保AI解決方案與企業的長期發展戰略緊密結合，避免被單一供應商鎖定。
對企業營運的衝擊
- 效率與成本優化：自動化過去需人工操作的網頁任務，如跨平台數據錄入、報告生成、客戶服務流程、供應商訂單處理等，顯著降低人力成本與操作錯誤率，提升營運效率。
- 數據整合與洞察：打破資訊孤島，尤其適用於缺乏API介面的遺留系統或外部合作夥伴平台。AI代理可自動擷取、清洗並整合來自不同網頁的數據，為企業提供更全面、即時的經營洞察。
- 加速數位服務創新：企業能更快速地開發和部署新的數位服務，例如自動化的市場情報收集、競爭分析、產品價格監控，或是提供更智能的客戶自助服務介面。
- 員工賦能與轉型：將員工從繁瑣、重複的網頁操作中解放出來，使其能專注於更高價值的策略性工作。這也將推動企業內部的人才技能轉型與再培訓。
- 資安與合規挑戰：AI代理在網頁上執行操作，意味著它將接觸到敏感數據和業務流程。如何確保AI代理的行為安全、防範惡意攻擊、遵守數據隱私法規（如GDPR、個資法）將成為新的資安挑戰與合規要求。
- 系統整合複雜性：將開源AI代理與現有企業級ERP、CRM、SCM等核心系統無縫整合，需要精密的系統架構設計與專業的軟體工程能力，以確保穩定性、可擴展性與可維護性。
創蔚專家觀點
以我們近期協助領航 AI 基礎建設：AI 水冷機櫃大廠透過「專案透明化系統」整合 ERP，達成營收精準認列與高效管理的案例為例。該客戶作為興櫃公司，其AI水冷機櫃專案量劇增，但專案進度與財務認列脫節，導致營收精準認列與即時獲利掌握成為巨大挑戰。我們為其導入「專案透明化系統」並深層串接 ERP，將每一個水冷機櫃專案從設計、採購、組裝到現場施工的進度數位化，並透過API將進度與ERP財務模組連結，確保財務部門能根據系統導出的即時證據進行收入認列。然而，在專案管理初期，若部分供應商或協力廠商的進度回報仍需透過非標準化的網頁介面進行人工輸入或核對，這正是MolmoWeb這類視覺代理可以發揮作用的場景。它能夠自動瀏覽多個供應商網站或客戶專案平台，提取關鍵里程碑、物料交付狀態或驗收報告，並將這些資訊結構化後，自動匯入我們的專案透明化系統或直接更新ERP相關模組。這將進一步提升數據的即時性與準確性，減少40%以上的人工溝通成本，並確保在高成長期仍能維持穩定的管理品質，實現真正的「營運透明化與財務精準化雙贏」。
因此，企業決策者應將視覺網頁代理視為加速數位轉型、提升營運韌性的關鍵工具。我們創蔚資訊憑藉在客製化ERP、流程自動化與系統架構設計的深厚實力，能協助企業不僅是部署這些先進AI工具，更是將其無縫整合至現有企業脈絡中，確保其發揮最大戰略價值，同時兼顧資安與合規性。
落地方案與下一步
1. 客製化ERP系統開發與流程自動化：
- 智能流程再造：協助企業識別適合視覺網頁代理自動化的業務流程，特別是那些涉及跨部門、跨系統（無API介面）的網頁操作，如供應商管理、客戶服務、市場數據採集等。
- ERP深度整合：設計並實施將MolmoWeb等AI代理擷取的數據，無縫匯入現有或客製化ERP系統的解決方案，確保數據一致性與準確性，實現端到端自動化。
- 智慧工作流引擎：建立結合AI代理、RPA與BPM（業務流程管理）的智慧工作流引擎，實現複雜業務流程的自動化、優化與監控。
2. 高品質軟體工程與系統架構設計：
- AI代理平台建置：為企業規劃、設計並建置安全、可擴展、高可用的AI視覺網頁代理部署平台，支援自託管與客製化開發。
- 模型微調與客製化：協助企業基於MolmoWeb開源模型，進行特定業務場景的模型微調（fine-tuning），開發符合企業獨特需求的AI代理應用。
- 異構系統整合：提供專業的軟體工程服務，確保AI代理與企業現有IT基礎設施、遺留系統及雲端服務的順暢整合，避免產生新的技術債。
3. 企業級資安防護服務與風險管理：
- AI代理資安評估：針對部署AI視覺網頁代理可能帶來的潛在資安風險（如權限濫用、數據洩露、惡意行為植入等）進行全面評估與滲透測試。
- 數據隱私與合規諮詢：建立AI代理操作的數據治理與隱私保護策略，確保其行為符合相關法規要求（如GDPR、個資法），降低合規風險。
- 監控與應急響應：部署AI代理行為監控系統，實時追蹤代理的操作，並建立完善的應急響應機制，以快速應對潛在的資安事件。
常見問題
MolmoWeb特別適合處理那些重複性高、依賴人工手動操作網頁介面、或缺乏標準API介面的業務流程。常見應用包括：跨平台數據錄入與同步（如從供應商網站提取訂單資訊匯入ERP）、自動化客戶服務流程（如自動填寫表單、查詢訂單狀態）、市場情報收集（如監控競爭對手網站價格或產品更新）、以及自動化測試網頁應用等。
主要風險包括：1. **權限濫用**：AI代理若被授予過高權限或被惡意利用，可能執行未經授權的操作。2. **數據洩露**：代理在操作網頁時可能接觸敏感數據，若缺乏適當保護機制，可能導致數據洩露。3. **行為不可預測性**：AI模型的行為有時難以完全預測，可能產生意外操作。4. **惡意程式碼注入**：開源軟體若未經嚴格審核，可能存在安全漏洞或被植入惡意程式碼。企業需透過嚴格的資安評估、權限控管與行為監控來降低風險。
整合方式主要有兩種：1. **數據層整合**：AI代理從網頁提取結構化數據後，透過API或數據匯入介面（如FTP、SFTP）將數據傳輸至ERP系統。2. **流程層整合**：將AI代理作為ERP工作流中的一個自動化步驟，例如，當ERP觸發某個事件時，AI代理自動執行網頁操作並將結果回傳給ERP。這需要專業的系統架構設計與軟體工程能力，確保數據的準確性、即時性與安全性。
傳統RPA主要基於規則，透過錄製或編程來模擬人類的鍵盤滑鼠操作，對網頁介面的變動較不敏感，且缺乏語義理解能力。MolmoWeb作為視覺網頁代理，則基於多模態AI模型，能夠「看懂」網頁的視覺內容，理解指令的語義，並具有更強的適應性與自主決策能力，即使網頁介面有所變動，也能在一定程度上自我調整，處理更複雜、非結構化的任務。它代表了RPA向更智能、更彈性方向的演進。
評估ROI應從多方面著手：1. **成本節省**：計算自動化後減少的人力成本、錯誤處理成本。2. **效率提升**：量化業務流程速度加快、數據處理即時性提升帶來的價值。3. **營收增長潛力**：評估因數據整合更佳、市場響應更快而帶來的業務機會。4. **風險降低**：考量合規性提升、資安風險降低的隱性價值。5. **創新潛力**：評估AI代理賦能新服務、新產品開發的可能性。建議從業務痛點出發，選擇具體、可量化的應用場景進行小規模試點，逐步擴展。