把 RL 帶進課堂
為什麼值得花這節課？
AI 課程很容易變成兩個極端：太淺，只是讓學生用現成工具玩一玩；太深，直接掉進數學公式的泥淖。 強化學習恰好站在一個難得的位置——它的核心邏輯用中文說很清楚（嘗試、獲得回饋、修正策略）， 但它展示的東西是真實的 AI 決策過程，不是包裝過的對話介面。
當學生看到一個 Agent 一開始亂走、撞牆、失敗，然後在幾百回合後逐漸找出正確路徑， 那個「哦！它真的在學」的時刻，往往比任何課本解釋都有力。 這正是 Rein Room 要提供的體驗。
三種使用情境
| 情境 | 時間 | 適合對象 | 核心目標 |
|---|---|---|---|
| 體驗課 | 50 分鐘 | 國高中、營隊、家長說明會 | 讓學生看到 AI 從零學習的過程，建立直觀印象 |
| 主題單元 | 3–4 節 | 大學通識、高中選修、補習班進階課 | 理解 RL 核心概念，能解讀訓練圖表，嘗試調參數 |
| 學期專題 | 數週 | 大學資工、研究室、科展 | 設計實驗、比較演算法、產出可分析的訓練數據 |
50 分鐘體驗課：完整流程
這是最容易執行的起點，不需要學生有任何 AI 背景。以下是一個可以直接複製的流程：
如果時間充裕或學生程度較高，可以換 CartPole：4D 連續狀態、物理感強，但需要更多訓練回合才能看到明顯成效。
學生會觀察到什麼？
這些是課堂上常出現的「發現時刻」，老師可以預先準備引導語：
「它一開始好笨！」
這是最好的切入點。回應：「對，它一開始完全不知道什麼叫好什麼叫壞——就像你第一次玩一個新遊戲。 差別是它靠的不是眼睛和直覺，而是靠每次試錯後更新一張數字表。」
「為什麼它有時候還會走回去？」
這是探索機制的問題。回應：「因為我們設了探索率 ε，它有一定機率刻意選『不是最好』的路， 避免以為已經找到最好的路但其實還有更好的沒試過。」這個解釋通常會讓學生恍然大悟。
「熱力圖在顯示什麼？」
回應：「亮的地方表示 AI 認為這個位置『比較有前途』——靠近目標、或是曾經帶來好的回饋。 暗的地方是它還不確定、或是知道那裡不好的位置。」
課堂用參數建議
預設值對大多數情境已夠用，但以下情境建議微調：
| 教學目的 | 建議設定 | 效果 |
|---|---|---|
| 快速看到學習成效（示範用） | α=0.5、γ=0.95、ε=0.2 | 幾分鐘內可見明顯收斂 |
| 示範「探索率太高」的壞處 | ε=0.9 | Agent 持續亂走、Reward 不穩定 |
| 示範「探索率太低」的局部最佳 | ε=0.01，從頭開始 | 很快收斂但通常不是最優路徑 |
| 對比 Q-Learning vs DQN | 切換演算法後清空重訓 | 觀察相同遊戲下兩種演算法的收斂差異 |
課堂現場常見問題
進階：3–4 節主題單元設計
| 節次 | 主題 | 學生任務 |
|---|---|---|
| 第 1 節 | 什麼是強化學習？ | 觀察 Maze2D 訓練過程，說出 Agent/State/Reward 各是什麼 |
| 第 2 節 | Q-Table 怎麼更新？ | 看熱力圖解讀「AI 認為哪裡有價值」，對比訓練前後差異 |
| 第 3 節 | 探索 vs 利用 | 分組測試不同 ε 值，紀錄收斂回合數，討論取捨 |
| 第 4 節 | 自由實驗 + 發表 | 選任一遊戲，設計實驗（改參數、換演算法），發表發現 |
最後一件事
強化學習課最容易失敗的方式，是老師把所有概念解釋完才讓學生動手。 建議反過來：先讓學生看到畫面，帶出問題，再用問題拉出概念。 「它為什麼有時候還會走錯？」比「什麼是探索率」更能讓學生記住 ε-greedy 的意義。
RR 的設計初衷就是讓這個反轉變得可能——AI 的學習過程是看得見的， 而看得見的東西，才是真正可以被討論、被理解、被記住的東西。