在本指南中，我們將解釋線性回歸及其工作原理，并逐步引導(dǎo)您完成整個(gè)過程。我們還將介紹特征縮放和梯度下降，這是提高模型準(zhǔn)確性的關(guān)鍵技術(shù)。無論您是分析業(yè)務(wù)趨勢(shì)還是深入研究數(shù)據(jù)科學(xué)，本指南都是一個(gè)很好的起點(diǎn)。

---

目錄

• 簡介
• 理解監(jiān)督學(xué)習(xí)
• 什么是線性回歸？
• 簡單線性回歸
• 多元線性回歸
• 成本函數(shù)
• 特征縮放
• 梯度下降
• 簡單線性回歸的梯度下降
• 多元線性回歸的梯度下降

---

介紹

線性回歸是一種簡單而強(qiáng)大的工具，用于理解不同因素之間的關(guān)系并做出預(yù)測(cè)。例如，您可能想知道您的學(xué)習(xí)時(shí)間如何影響您的考試成績，一棟房子根據(jù)其大小和位置可以賣多少錢，或者通過更多的廣告如何增加銷售額。線性回歸使我們能夠檢查數(shù)據(jù)點(diǎn)（例如學(xué)習(xí)時(shí)間或廣告支出）并繪制一條最能預(yù)測(cè)結(jié)果的直線，例如測(cè)試分?jǐn)?shù)或銷售數(shù)據(jù)。這項(xiàng)技術(shù)在許多領(lǐng)域都很有價(jià)值，可以幫助我們根據(jù)數(shù)據(jù)做出明智的決策。

了解監(jiān)督學(xué)習(xí)

在深入研究線性回歸之前，有必要了解監(jiān)督學(xué)習(xí)，這是一種使用標(biāo)記數(shù)據(jù)來訓(xùn)練模型的機(jī)器學(xué)習(xí)方法。在監(jiān)督學(xué)習(xí)中，我們?yōu)槟Ｐ吞峁┯?xùn)練示例，其中包括特征（輸入變量）及其相應(yīng)的標(biāo)簽（正確的輸出）。

監(jiān)督學(xué)習(xí)任務(wù)主要有兩種類型：

1. 回歸：這可以從無限范圍的可能輸出中預(yù)測(cè)連續(xù)值。例如，根據(jù)各種特征預(yù)測(cè)房價(jià)。
2. 分類：這與回歸不同，它是從一組有限的可能類別中預(yù)測(cè)類別或類別。例如，確定電子郵件是否為垃圾郵件。

什么是線性回歸？

線性回歸是統(tǒng)計(jì)和機(jī)器學(xué)習(xí)中使用的一種監(jiān)督學(xué)習(xí)方法，用于理解兩類變量之間的關(guān)系：自變量（我們認(rèn)為影響結(jié)果的因素）和因變量（我們想要預(yù)測(cè)的結(jié)果）。

目標(biāo)是使用線性方程找到表示這種關(guān)系的最佳擬合線。通過分析標(biāo)記數(shù)據(jù)（具有已知結(jié)果的數(shù)據(jù)），線性回歸可以幫助我們了解自變量的變化如何影響因變量。

術(shù)語

簡單線性回歸

簡單線性回歸檢查一個(gè)因變量和一個(gè)自變量之間的關(guān)系。它的目的是通過將直線擬合到數(shù)據(jù)點(diǎn)來對(duì)關(guān)系進(jìn)行建模，可以用以下方程表示：

在此等式中：

• y_hat（或 f_wb(x)）:因變量，表示預(yù)測(cè)的結(jié)果。這是我們根據(jù)自變量的輸入估計(jì)的值。
• b : 這是回歸線的截距。它表示當(dāng)自變量 x 為零時(shí)因變量 y 的期望值。截距允許回歸線垂直調(diào)整以更好地?cái)M合數(shù)據(jù)。
• w : 自變量 x 的系數(shù)。該系數(shù)表示 x 變化一單位時(shí)因變量 y_hat 的變化量。正 w 表示隨著 x 的增加，y_hat?也會(huì)增加，而負(fù) w 表示反比關(guān)系。
• x : 自變量，充當(dāng)模型中的預(yù)測(cè)變量。該變量是用于估計(jì) y_hat 表示的結(jié)果的輸入。

多元線性回歸

多元線性回歸通過檢查一個(gè)因變量與兩個(gè)或多個(gè)自變量之間的關(guān)系擴(kuò)展了簡單線性回歸的概念。這種方法使我們能夠建模更復(fù)雜的關(guān)系并了解多種因素如何影響結(jié)果。

地點(diǎn)：

• n : 特征總數(shù)（自變量）

成本函數(shù)

成本函數(shù)，也稱為損失函數(shù)，量化模型生成的預(yù)期（真實(shí)）值和預(yù)測(cè)值之間的差異。它衡量模型在給定數(shù)據(jù)集上的表現(xiàn)。在簡單線性回歸中，最常用的成本函數(shù)是均方誤差。

地點(diǎn)：

• m 是訓(xùn)練樣本的數(shù)量
• y_hat 是預(yù)測(cè)值
• y 是實(shí)際值或期望值

特征縮放

特征縮放是數(shù)據(jù)預(yù)處理中的關(guān)鍵步驟，特別是在使用依賴距離計(jì)算或梯度下降優(yōu)化的算法時(shí)，例如線性回歸、邏輯回歸和支持向量機(jī)。特征縮放的目的是標(biāo)準(zhǔn)化數(shù)據(jù)中自變量或特征的范圍，以確保它們對(duì)模型的學(xué)習(xí)過程做出同等的貢獻(xiàn)。

特征縮放的常用技術(shù)

均值歸一化

均值歸一化涉及調(diào)整特征值，使其均值為零。

特點(diǎn)

• 數(shù)據(jù)范圍約為 [?1,1] 或接近它。
• 對(duì)異常值敏感，這可能會(huì)扭曲均值并影響標(biāo)準(zhǔn)化。

用例

• 線性回歸：有助于提高訓(xùn)練過程中的收斂性。
• 基于梯度的算法：當(dāng)數(shù)據(jù)以零為中心時(shí)，神經(jīng)網(wǎng)絡(luò)和其他基于梯度的算法通常收斂得更快。
• 沒有顯著異常值的數(shù)據(jù)集：對(duì)于具有相似范圍且沒有極端異常值的數(shù)據(jù)集特別有效。

最小-最大縮放

最小-最大縮放是一種用于將特征重新縮放到固定范圍的技術(shù)，通常為 [0,1] 或 [?1,1]。

特點(diǎn)

• 固定范圍：將數(shù)據(jù)縮放到特定范圍，通常為[0,1]。
• 對(duì)異常值的敏感性：它可能會(huì)受到異常值的顯著影響，這可能會(huì)扭曲其他值的縮放。

用例

• 圖像處理：常用于卷積神經(jīng)網(wǎng)絡(luò) (CNN) 等深度學(xué)習(xí)模型，其中像素值縮放為 [0,1]。
• 基于距離的算法：對(duì)于依賴距離計(jì)算的算法至關(guān)重要，例如 k 最近鄰 (KNN)、k 均值聚類和支持向量機(jī) (SVM)，以確保所有特征的貢獻(xiàn)相等.
• 基于樹的模型：雖然與其他算法相比，基于樹的模型（例如決策樹和隨機(jī)森林）不太重要，但它在特征尺度差異很大的情況下仍然可以提供幫助。

Z 分?jǐn)?shù)標(biāo)準(zhǔn)化

Z 分?jǐn)?shù)標(biāo)準(zhǔn)化，也稱為標(biāo)準(zhǔn)縮放，將特征轉(zhuǎn)換為均值為零和標(biāo)準(zhǔn)差為 1。此技術(shù)對(duì)于假設(shè)正態(tài)分布數(shù)據(jù)的算法特別有用。

地點(diǎn)：

• sigma 是特征的標(biāo)準(zhǔn)差。

特點(diǎn)

• 均值居中：將數(shù)據(jù)以零為中心。
• 單位方差：確保標(biāo)準(zhǔn)差為一。
• 對(duì)異常值的魯棒性：與最小-最大縮放相比更魯棒，但對(duì)極端異常值仍然敏感。

用例

• 神經(jīng)網(wǎng)絡(luò)：在訓(xùn)練過程中增強(qiáng)性能并加速收斂。
• 主成分分析 (PCA) 和 線性判別分析 (LDA)：這些技術(shù)需要確保所有功能同等貢獻(xiàn)。
• 高斯樸素貝葉斯：通過規(guī)范化輸入特征來提高分類性能。

穩(wěn)健的縮放

穩(wěn)健縮放是一種基于中位數(shù)和四分位數(shù)范圍 (IQR) 縮放特征的技術(shù)。此方法對(duì)于具有顯著異常值的數(shù)據(jù)集特別有用，因?yàn)樗鼫p少了這些異常值對(duì)縮放值的影響。

地點(diǎn)：

• IQR(x) 是特征的四分位數(shù)范圍，定義為訓(xùn)練集第 75 個(gè)百分位數(shù)和第 25 個(gè)百分位數(shù)之間的差異

特點(diǎn)

• 中位數(shù)居中：將數(shù)據(jù)圍繞中位數(shù)而不是均值居中，使其更能適應(yīng)異常值。
• 四分位數(shù)范圍 (IQR) ：使用 IQR 縮放數(shù)據(jù)，IQR 是訓(xùn)練數(shù)據(jù)的第 75 個(gè)百分位數(shù) (Q3) 和第 25 個(gè)百分位數(shù) (Q1) 之間的差值。這有助于保持發(fā)行版的穩(wěn)健性。

用例

• 有異常值的數(shù)據(jù)：在存在異常值的情況下有效。
• 金融：在可能包含極值的金融數(shù)據(jù)集中有用。
• 環(huán)境數(shù)據(jù)：非常適用于測(cè)量結(jié)果差異很大的環(huán)境數(shù)據(jù)集。

梯度下降

梯度下降是一種強(qiáng)大的優(yōu)化算法，用于訓(xùn)練機(jī)器學(xué)習(xí)模型，包括線性回歸。其主要目標(biāo)是最小化預(yù)期值和預(yù)測(cè)值之間的誤差。

最初，成本函數(shù)的斜率在起始（任意）點(diǎn)可能很陡。隨著算法迭代和更新參數(shù)，斜率逐漸減小，引導(dǎo)模型趨向成本函數(shù)的最低點(diǎn)，稱為收斂點(diǎn)或局部最小值。在這個(gè)收斂點(diǎn)，成本函數(shù)達(dá)到最小值，表明模型預(yù)測(cè)盡可能接近實(shí)際值。一旦參數(shù)達(dá)到這一點(diǎn)，進(jìn)一步的更新會(huì)對(duì)預(yù)測(cè)產(chǎn)生最小的變化，這表明優(yōu)化過程已有效地識(shí)別了數(shù)據(jù)的最佳擬合參數(shù)。

該過程涉及以下關(guān)鍵步驟：

1. 初始化：從模型參數(shù)的隨機(jī)值開始（例如，截距 b 和系數(shù) w）。
2. 計(jì)算梯度：計(jì)算成本函數(shù)相對(duì)于模型參數(shù)的梯度。這個(gè)梯度代表了成本函數(shù)的變化方向和速率。
3. 更新參數(shù) ：向梯度相反方向調(diào)整模型參數(shù)，以減少誤差。更新規(guī)則由下式給出：
4. 迭代：重復(fù)該過程，直到成本函數(shù)的變化最小或達(dá)到指定的迭代次數(shù)。

提示：繪制迭代（x 軸）與成本（y 軸）的關(guān)系圖。如果繪圖顯示出平滑的下降趨勢(shì)，則您的實(shí)現(xiàn)可能是正確的。

梯度下降的類型

批量梯度下降

• 優(yōu)點(diǎn)：由于它使用整個(gè)數(shù)據(jù)集，因此可以提供穩(wěn)定且準(zhǔn)確的梯度估計(jì)。它可以直接收斂到凸函數(shù)的全局最小值。
• 缺點(diǎn)：對(duì)于大型數(shù)據(jù)集來說可能非常慢，因?yàn)樗诿看蔚刑幚硭袠颖尽?/li>
• 用例：通常用于數(shù)據(jù)集足夠小以適合內(nèi)存的場(chǎng)景，例如表格數(shù)據(jù)的線性回歸或邏輯回歸。

隨機(jī)梯度下降（SGD）

• 優(yōu)點(diǎn)：更新速度更快，因?yàn)樗淮翁幚硪粋€(gè)樣本，這可以導(dǎo)致更快的收斂。由于其固有的噪聲，它可以幫助擺脫局部極小值。
• 缺點(diǎn)：收斂性比較不穩(wěn)定，可能會(huì)在最小值附近振蕩，導(dǎo)致穩(wěn)定性較差。
• 用例：常用于在線學(xué)習(xí)場(chǎng)景、實(shí)時(shí)預(yù)測(cè)，或者處理無法完整處理的大型數(shù)據(jù)集，例如在圖像數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

小批量梯度下降（MBD）

• 優(yōu)點(diǎn)：結(jié)合了批量梯度下降和隨機(jī)梯度下降的優(yōu)點(diǎn)。它比批量梯度下降收斂得更快，比 SGD 收斂更穩(wěn)定。它還可以利用矢量化來實(shí)現(xiàn)高效計(jì)算。
• 缺點(diǎn)：選擇小批量的大小可能具有挑戰(zhàn)性，并且可能會(huì)影響收斂速度和穩(wěn)定性。
• 用例：經(jīng)常用于深度學(xué)習(xí)應(yīng)用程序，特別是在大型數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)，例如卷積神經(jīng)網(wǎng)絡(luò)（CNN）或自然語言處理模型中的圖像分類任務(wù)。

簡單線性回歸的梯度下降

簡單線性回歸的梯度下降步驟

1. 初始化 從模型參數(shù)的初始值開始。這些值可以隨機(jī)選擇或設(shè)置為零。

1. 計(jì)算梯度 計(jì)算成本函數(shù)相對(duì)于模型參數(shù)的梯度。這個(gè)梯度代表了成本函數(shù)的變化方向和速率。

1. 更新參數(shù) 在梯度相反的方向調(diào)整模型參數(shù)以減少誤差。更新規(guī)則由下式給出：

哪里：

• J(w, b) 是成本函數(shù)，即上面使用的均方誤差 (MSE)。
• Alpha 是學(xué)習(xí)率，一個(gè)介于 0 和 1 之間的小正數(shù)。它控制梯度下降到達(dá)收斂點(diǎn)或局部最小值所需的步長。

提示：從較小的學(xué)習(xí)率（例如 0.01）開始，然后逐漸增加。如果成本平穩(wěn)下降，那就是一個(gè)不錯(cuò)的價(jià)格。如果它波動(dòng)或發(fā)散，請(qǐng)降低學(xué)習(xí)率。學(xué)習(xí)率太大會(huì)導(dǎo)致梯度下降超調(diào)，永遠(yuǎn)達(dá)不到最小值，并且無法收斂。

1. 迭代：重復(fù)該過程，直到成本函數(shù)的變化最小或達(dá)到指定的迭代次數(shù)。

簡單線性回歸的梯度下降的 Python 實(shí)現(xiàn)

簡單線性回歸的梯度下降的 Python 實(shí)現(xiàn)

多元線性回歸的梯度下降

多元線性回歸的梯度下降步驟

1. 初始化 從每個(gè)參數(shù)的隨機(jī)值開始，包括每個(gè)特征的截距 b 和權(quán)重 w。

1. 計(jì)算梯度 計(jì)算成本函數(shù)相對(duì)于模型參數(shù)的梯度。

矢量形式

地點(diǎn)：

• x_subscript_j_superscript_i 是第 i 個(gè)訓(xùn)練示例的第 j_ 個(gè)特征
• x_superscript_T 是向量 x
的轉(zhuǎn)置

1. 更新參數(shù) 在梯度相反的方向調(diào)整模型參數(shù)以減少誤差。更新規(guī)則由下式給出：

1. 迭代 重復(fù)該過程，直到成本函數(shù)的變化最小或達(dá)到指定的迭代次數(shù)。

簡單線性回歸的梯度下降的 Python 實(shí)現(xiàn)

簡單線性回歸的梯度下降的 Python 實(shí)現(xiàn)

---

結(jié)論

恭喜?。?/strong>？在這篇文章中，我們探討了線性回歸和多元線性回歸的基礎(chǔ)知識(shí)，介紹了實(shí)現(xiàn)梯度下降的過程，并討論了用于優(yōu)化模型性能的特征縮放等關(guān)鍵技術(shù)。通過了解如何初始化模型參數(shù)、計(jì)算梯度和迭代更新權(quán)重，您現(xiàn)在已經(jīng)準(zhǔn)備好實(shí)施線性回歸算法并提高其在現(xiàn)實(shí)數(shù)據(jù)集上的性能。

無論您是使用簡單的線性回歸還是處理多個(gè)特征的復(fù)雜性，掌握梯度下降并掌握其核心原理都將顯著增強(qiáng)您開發(fā)準(zhǔn)確高效的機(jī)器學(xué)習(xí)模型的能力。不斷嘗試，完善你的技能，擁抱學(xué)習(xí)過程——這和結(jié)果本身一樣重要！

請(qǐng)繼續(xù)關(guān)注有關(guān)機(jī)器學(xué)習(xí)技術(shù)和 Web 開發(fā)主題的更多見解。繼續(xù)探索和構(gòu)建更智能的模型，快樂學(xué)習(xí)！ ??

讓我們?cè)? LinkedIn 上聯(lián)系？

“本文最初發(fā)布于 Medium，我在這里分享了更多關(guān)于數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和編程的見解。歡迎查看并關(guān)注我以獲取更多內(nèi)容！”

請(qǐng)點(diǎn)贊、分享和關(guān)注？.

請(qǐng)隨時(shí)在評(píng)論部分提出任何問題 - 我會(huì)及時(shí)、徹底地回復(fù)您的詢問。熱烈歡迎您的疑問，我們將得到迅速、全面的答復(fù)。 ??

以上是線性回歸：從理論到實(shí)踐的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！