📝 【Machine Learning】練習測驗:使用梯度下降訓練邏輯回歸模型
請先填寫您的資料
進度:1 / 8
總分:100 分
題目 1:題目 1/7
單選題 - 10分以下兩個敘述中,哪一個對用梯度下降訓練邏輯迴歸的描述較準確?
$
\begin{align*} \text{repeat}&\text{ until convergence:} \; \lbrace \newline
\; w_j &= w_j - \alpha \left[ \frac{1}{m}\sum\limits_{i = 1}^{m} (f_{\vec{w},b}(\vec{x}^{(i)}) - y^{(i)})x_j^{(i)} \right] \; \newline
b &= b - \alpha \left[ \frac{1}{m}\sum\limits_{i = 1}^{m} (f_{\vec{w},b}(\vec{x}^{(i)}) - y^{(i)}) \right] \newline \rbrace
\; \text{同時更新}
\end{align*}
$
更新步驟與線性迴歸的更新步驟相同
更新步驟與線性迴歸的更新步驟很像,但 $f_{\vec{w}, b}(x^{(i)})$ 的定義不同
題目 2:題目 2/8
單選題 - 15分在邏輯迴歸中,模型預測函數 $f_{w,b}(x)$ 的正確形式是什麼?
$-\log\big(1- f_{w,b}(x)\big)$
$\frac{1}{1+e^{-(w \cdot x + b)}}$
$w \cdot x + b$
$\frac{1}{m}\sum\limits_{i = 1}^{m} (f_{\vec{w},b}(\vec{x}^{(i)}) - y^{(i)})x_j^{(i)}$
題目 3:題目 3/8
單選題 - 15分根據梯度下降法,參數 $w_j$ 的更新規則是什麼?其中 $\alpha$ 是學習率。
$w_j = w_j - \alpha J(w,b)$
$w_j = w_j - \alpha \frac{\partial J(\vec{w},b)}{\partial w_j}$
$w_j = w_j + \alpha \frac{\partial J(\vec{w},b)}{\partial w_j}$
$w_j = \alpha \frac{\partial J(\vec{w},b)}{\partial w_j}$
題目 4:題目 4/8
單選題 - 15分對於邏輯迴歸,成本函數 $J(w,b)$ 對於參數 $b$ 的偏導數 $\frac{\partial J(\vec{w},b)}{\partial b}$ 是什麼?
$-\frac{1}{m} \sum\limits_{i = 1}^{m} \left[ y^{(i)} \log\!\big({f_{\vec{w},b}({\vec{x}^{(i)}})}\big) + (1-y^{(i)}) \log\!\big(1-{f_{{\vec{w}},b}({\vec{x}^{(i)}})}\big) \right]$
$\frac{1}{m}\sum\limits_{i = 1}^{m} (f_{\vec{w},b}(\vec{x}^{(i)}) - y^{(i)})x_j^{(i)}$
$(f_{\vec{w},b}(\vec{x}^{(i)}) - y^{(i)})$
$\frac{1}{m}\sum\limits_{i = 1}^{m} (f_{\vec{w},b}(\vec{x}^{(i)}) - y^{(i)})$
題目 5:題目 5/8
單選題 - 10分線性迴歸與邏輯迴歸的預測函數 $f_{w,b}(x)$ 主要區別是什麼?
兩者的預測函數完全相同,只是應用場景不同。
邏輯迴歸的函數將線性組合的結果通過 S 型函數(Sigmoid)進行轉換,而線性迴歸則直接輸出該線性組合。
線性迴歸使用梯度下降法,而邏輯迴歸不使用。
邏輯迴歸的成本函數是均方誤差,而線性迴歸是交叉熵損失。
題目 6:題目 6/8
單選題 - 10分在邏輯斯迴歸的梯度下降算法中,"repeat until convergence" 的含義是什麼?
對每個訓練樣本重複進行預測,直到所有樣本都被預測正確。
重複計算模型的準確率,直到達到100%。
重複調整學習率 $\alpha$,直到找到最優值。
重複更新參數 $w$ 和 $b$,直到成本函數 $J(w,b)$ 的值變化很小或不再減小。
題目 7:題目 7/8
單選題 - 15分儘管線性迴歸和邏輯迴歸的預測函數與成本函數都不同,但它們的梯度更新規則中的偏導數項看起來形式相同:
$\frac{1}{m}\sum\limits_{i = 1}^{m} (f_{\vec{w},b}(\vec{x}^{(i)}) - y^{(i)})x_j^{(i)}$。
這主要是因為什麼?
這是一個數學上的巧合,源於S型函數的導數特性與對數損失函數的導數相結合後的簡化結果。
只有當學習率 $\alpha$ 非常小時,這種形式才會相同。
這是為了簡化計算而做的人為規定,並非推導結果。
因為兩種迴歸模型本質上是同一種演算法。
題目 8:題目 8/8
單選題 - 10分在計算梯度 $\frac{\partial J(w,b)}{\partial w_j} = \frac{1}{m}\sum\limits_{i = 1}^{m} (f_{\vec{w},b}(\vec{x}^{(i)}) - y^{(i)})x_j^{(i)}$ 時,求和符號 $\sum\limits_{i = 1}^{m}$ 的作用是什麼?
累加所有訓練樣本對梯度的貢獻,以計算整個批次的平均梯度。
對梯度進行歸一化處理,使其範圍在 0 到 1 之間。
僅計算第一個訓練樣本的梯度。
將梯度與特徵值 $x_j$ 相乘。
🎉 測驗完成!
--
計算中...