在 2026 Week 3 的報告中,我調查了生理限制模擬技術在可用性測試的演進,總結出目前可用性測試在 LLM 時代比較偏向通用解決的任務能力,而在對於生理缺陷的模擬比較少,算是一片藍海。也探討了之前對於這些障礙人群的測試方式,如運動障礙模擬的菲茨定律和雜訊注入、胖手指的誤觸模擬等,還有視覺感知障礙的模糊化再讓 AI 辨識的路徑,以及更多感官維度的如震動感受等。
本週繼續針對 LLM 之於障礙者的可用信測試做調查,維持發現到目前 LLM Agent 和測試方法都以「完美代理人」的情境去執行,也就是 Agent 會盡力預設為「完美使用者」,擁有絕對的精準度、零延遲的反應速度和不受老花影響的辨識能力。
這種完美代理人在面對高齡化社會或是障礙人群時顯得無力,因為真實的高齡使用者在操作裝置時往往面臨著控制能力的衰退和認知負荷的增加,目前的 Usability Testing 和自動化測試往往僅能驗證功能邏輯的正確性,而較少能偵測誤觸或是版面設計的誤讀。這在可用性測試是一個缺口。
生理濾鏡對於可用性測試
傳統的自動化測試競爭焦點於執行速度與覆蓋率,較少模擬生理障礙。而真實使用者測試雖能捕捉真實的物理限制,但招募特定患者成本高、週期長且具道德風險。
本次報告聚焦於生理濾鏡的生理學模型和生成式 AI 的整合,考慮到臨床合成測試等。如
- 規模化包容性。參考障礙人群的行為模式設定模型,進行模擬測試時以程式化設置參數,量化 UI 對特定族群的友善度。
- 極端邊界測試。模擬人類受試者難以配合的極端情境(如極端顫抖),檢測系統的強健性。
- 閉環設計優化:當生理濾鏡操作失敗時,LLM 或許可根據失敗日誌生成建議,協助 app 優化佈局。
技術分類 1:運動控制與神經力學模擬
要在數位環境中重現高齡者的操作特徵,核心在於構建一個符合生物力學規律的運動控制模型。我們不能僅依賴隨機的高斯雜訊,因為人類的運動軌跡具有特定的平滑度與頻率特徵。
針對高齡者的動作分布,可參考醫學相關文獻做深入研究。細目領域如顫抖、雜訊等。
技術分類 2:視覺感知與圖像退化
Mobile LLM Agent 通常包含視覺模型來理解內容,將截圖輸入模型,Agent 無法察覺 UI 對於 Disabilities 的視覺缺陷。可利用如色覺障礙模擬、白內障與視力模糊等眼部疾病(與相關文獻參考)做深入研究。
國科會計畫的契合度與申請策略
將「生理濾鏡 Mobile LLM Agent」嘗試申請國科會計畫,本研究針對國科會的政策方向與學門分類進行了詳細分析。
- 高齡產業科技行動計劃
- 智慧計算與生成式 AI