Edge AI 智慧跟隨風扇：離線語音、自然語言處理與紅外線追蹤系統整合後落地與最佳化－AI應用實務探討
1. 執行摘要 (Executive Summary)
此專案最主要為給同學參考上課所學之AI應用，使用ChatBot拓寬思考、Vibe Coding將思考以軟體面實踐、整合後使用Notebooklm介紹、生成簡報及介紹小卡等過程...等於AIOT領域落地的實際案例，由於過程使用眾多的AI應用、無法於短短一篇文章完全解釋清楚而感到抱歉，也感謝我的組員施芊妤及阮玉映在此專案的想法與報告之貢獻。
傳統物聯網 (IoT) 家電高度依賴雲端運算，常面臨網路延遲、隱私外洩風險及指令缺乏彈性等痛點。本專案旨在於資源受限之邊緣設備（Raspberry Pi）上，建構具備自然語意理解 (NLP) 多模態感知（視覺/語音）之實體 AI 代理 (類Physical AI Agent)。 透過模型量化技術、提示詞工程 (Prompt Engineering) 以及混合式防護(Guardrails)，本專案成功將大語言模型 (LLM) 推論延遲自 10 秒壓縮至 2 秒內，並透過系統常駐完成無頭模式 (Headless) 部署，達成商用級別的插電即用標準。
2. 系統架構設計 (System Architecture)
本系統採微服務與解耦設計，分為三大子系統以確保運行穩定性：
感知輸入層 (Perception Layer)：
語音介面： 透過遙控器實體按鈕觸發電扇硬體中斷，啟動麥克風陣列進行非同步收音。
視覺介面： 透過YOLO物件偵測與知識蒸餾方法、將熱成像感測器應用於即時計算環境中人體目標之相對誤差座標。
邊緣運算決策層 (Edge Edge-AI Processing Layer)：
語音辨識 (ASR)： 採用
Faster-Whisper (tiny)進行離線音訊轉文字。語意中樞 (LLM)： 部署
Llama.cpp驅動之 Qwen2.5-0.5B 量化模型，解析自然語言並映射至標準控制碼。
硬體致動與回饋層 (Actuation & Feedback Layer)：
步進馬達 (Stepper Motor) 閉環控制與繼電器 (Relay) 電源管理。
內建
Flask輕量級影像串流，提供硬體本地的 Web UI 遠端狀態監控(SSH)。
3. 核心技術與最佳化工程 (Core Optimizations)
本專案之核心技術價值在於克服邊緣運算之硬體限制，具體實作以下三項優化工程：
3.1 運算資源最佳化 (Resource Optimization & Latency Reduction)
痛點： LLM 在邊緣裝置（本案件使用樹梅派3_1GB）推論極為緩慢（> 10s），且易導致記憶體溢出 (OOM) 崩潰。
實作方案：
導入 GGUF 4-bit 量化技術，大幅限縮模型 RAM 佔用 (<300MB)。
嚴格控管上下文窗口 (
n_ctx=512) 並指定執行緒配置 (n_threads=4)，調整 CPU 算力。提示詞壓縮 (Prompt Compression)： 刪減冗餘提示，並採用 Few-shot Learning 規範的JSON輸出格式，成功將反應時間壓縮至 < 0.5 秒。
3.2 混合式決策防護網 (Hybrid Guardrails Framework)
痛點： Edge LLM 易受語音辨識雜訊干擾，產生「錨點效應 (Anchor Bias)」與幻覺，進而輸出危險的硬體控制碼、有變成提示詞注入攻擊等風險。
實作方案： 捨棄對模型的唯一硬編碼，建立語意解析 + 確定性規則 (Deterministic Rules)的雙層防護機制。當系統接收無效雜訊（如辨識錯誤、惡意語音輸入）時，底層 Python 規則將強制攔截異常意圖並覆寫為
IGNORE，確保硬體運作之安全性。
3.3 產品化與抗干擾設計 (Productization & EMI Resistance)
痛點： 實體按鈕易受馬達運轉及環境電磁波干擾導致系統誤觸發。
實作方案：
硬體層： 啟用 GPIO 內部下拉電阻 (
PUD_DOWN)，並要求 3.3V 實體高電位觸發。軟體層： 引入雙重時序確認與
bouncetime防彈跳演算法過濾高頻雜訊。部署層： 將部分 Python 主程式封裝為 Linux
Systemd服務，實現無螢幕、無鍵盤之 Headless 產品化。
4. 效能驗證與小結論 (Performance Evaluation & Conclusion)
本專案讓離線 Edge LLM應用於智慧家電之可行性提高。系統能在不依賴任何外部網路連線的條件下，實現精準的人體視覺追蹤與流暢的自然語言互動。 透過知識蒸餾 (Teacher-Student) 概念輕量化視覺模型，以及 LLM 提示詞工程的精準調校，系統在有限的 ARM 架構算力下達成了效能與準確率的最佳平衡。
5. 未來發展藍圖 (Future Work)
基於現有之微服務架構，下一階段重點將著重於生態系整合 (Ecosystem Integration)：
導入 MQTT 通訊協定： 將本設備轉型為標準之 IoT 邊緣節點、透過長期監測可提供能源資訊給家庭主機作為報告改善、達到SDGs、ESG等環境保護目標。
Home Assistant (HA) 系統連動： 透過非同步通訊將風扇狀態（如：當前環境人數、決策狀態）推播至 HA 伺服器，實現與照明、空調等其他智慧家庭設備之全域自動化聯動控制。
裝置於醫療領域之應用：該裝置使用紅外線鏡頭並配合adafruit套件成像，此技術可確保不使用可見光模組的前提提升資訊安全，目前也有醫療院所嘗試引進紅外線鏡頭輔助開刀，不失為一個不錯的技術參考。
6.總結 (Conclusion)
當我在回顧並撰寫這個專案，我深刻體會到未來的軟體工程師不再只是專門寫Code的職位。
在上課我們學習了強大的網頁版 AI 應用作為雲端開發輔助（課程講述的n8n、Notebooklm、PowerAPPs）、並馬上可以把一些想法落地報告的同時，也讓我想起未來會有更恐怖的本地 AI agent 應用正在落地（OpenClaw、NemoClaw）。
所以我認為學習AI的真正價值在於培養 "定義問題"、"串接自動化工作流以改進效率" 以及 "在現實限制下做出最佳化工程"的實踐能力。
從去年11月點子發想到解決硬體雜訊，再到克服 LLM 幻覺，最後整合落地，AI 不僅是這個智慧風扇的大腦，更是我開發過程中最不可或缺的導師與夥伴。希望這個實體 AI Agent 的落地經驗，能引出大家一些化靈感為現實的新想法。