使用 Python 進(jìn)行探索性資料分析 (EDA)：從資料中揭示洞察。

簡(jiǎn)介
探索性資料分析 (EDA) 在資料分析中至關(guān)重要，因?yàn)樗狗治鰩熌軌虬l(fā)現(xiàn)見(jiàn)解並為進(jìn)一步建模準(zhǔn)備資料。在本文中，我們將深入探討 Python 中可用的各種 EDA 技術(shù)和工具，以增強(qiáng)您對(duì)資料的理解。從清理/處理資料集到視覺(jué)化您的發(fā)現(xiàn)以及使用 Python 用資料講述故事。

什麼是探索性資料分析？

探索性資料分析（EDA）是一種分析資料集以了解其主要特徵的方法。它涉及總結(jié)數(shù)據(jù)特徵、檢測(cè)模式以及透過(guò)視覺(jué)和統(tǒng)計(jì)技術(shù)揭示關(guān)係。 EDA 有助於獲得見(jiàn)解並提出假設(shè)以進(jìn)行進(jìn)一步分析。

Python 中的探索性資料分析 (EDA) 採(cǎi)用了各種對(duì)於從資料中發(fā)現(xiàn)見(jiàn)解至關(guān)重要的技術(shù)?；炯夹g(shù)之一涉及使用 Matplotlib 和 Seaborn 等庫(kù)的資料視覺(jué)化。這些工具允許資料科學(xué)家創(chuàng)建不同類(lèi)型的繪圖，包括散點(diǎn)圖、直方圖和箱線圖，這對(duì)於理解資料集中的分佈和關(guān)係至關(guān)重要。

透過(guò)視覺(jué)化數(shù)據(jù)，分析師可以識(shí)別僅透過(guò)數(shù)值分析可能不明顯的趨勢(shì)、異常值和模式。

EDA 中的另一個(gè)關(guān)鍵技術(shù)是資料清理和操作，主要由 Pandas 函式庫(kù)提供支援。這涉及透過(guò)處理缺失值、過(guò)濾資料和使用聚合函數(shù)來(lái)總結(jié)見(jiàn)解來(lái)處理資料集。 「groupby」等功能的應(yīng)用使用戶(hù)能夠?qū)①Y料劃分為有意義的類(lèi)別，從而有助於更清晰的分析。此外，結(jié)合相關(guān)分析等統(tǒng)計(jì)方法可以進(jìn)一步了解變數(shù)之間的關(guān)係，有助於制定可以在更結(jié)構(gòu)化的分析中進(jìn)行測(cè)試的假設(shè)。

如何使用 Python 進(jìn)行 EDA

第 1 步：匯入 Python 函式庫(kù)

使用 python 進(jìn)行機(jī)器學(xué)習(xí)的第一步是使用函式庫(kù)來(lái)理解和處理我們的資料。您可以使用此連結(jié)在 Kaggle 網(wǎng)站上取得資料集：https://www.kaggle.com/datasets/sukhmanibedi/cars4u
導(dǎo)入我們分析所需的所有庫(kù)，例如資料載入、統(tǒng)計(jì)分析、視覺(jué)化、資料轉(zhuǎn)換以及合併和連接的庫(kù)。

Pandas 和 Numpy 已用於資料運(yùn)算和數(shù)值計(jì)算
Matplotlib 和 Seaborn 已被用於資料視覺(jué)化。
代碼：
將 pandas 導(dǎo)入為 pd
將 numpy 匯入為 np
將 matplotlib.pyplot 導(dǎo)入為 plt
將seaborn導(dǎo)入為sns
忽略警告
導(dǎo)入警告
warnings.filterwarnings('忽略')

第 2 步：讀取資料集

python Pandas 函式庫(kù)提供了多種將資料從映像、.csv、.xlsx、.sql、.pickle、.html、.txt 等檔案載入到 pandas DataFrame 的可能性
大多數(shù)數(shù)據(jù)都以 CSV 檔案的表格格式提供。它既時(shí)尚又易於訪問(wèn)。使用 read_csv() 函數(shù)，可以將資料轉(zhuǎn)換為 pandas DataFrame。
本文以預(yù)測(cè)二手車(chē)價(jià)格的數(shù)據(jù)為例。在此資料集中，我們嘗試分析二手車(chē)的價(jià)格以及 EDA 如何專(zhuān)注於識(shí)別影響汽車(chē)價(jià)格的因素。我們已將資料儲(chǔ)存在 DataFrame 資料中。
data = pd.read_csv("used_cars.csv")

分析數(shù)據(jù)

在做出任何推論之前，我們透過(guò)檢查資料中的所有變數(shù)來(lái)聽(tīng)取資料。
資料理解的主要目標(biāo)是獲得有關(guān)資料的一般見(jiàn)解，其中包括行數(shù)和列數(shù)、資料中的值、資料類(lèi)型和資料集中的缺失值。
shape – 形狀將顯示資料集中的觀察數(shù)（行）和特徵數(shù)（列）
我們的資料集中有 7253 個(gè)觀測(cè)值和 14 個(gè)變數(shù)
head() 將顯示資料集的前 5 個(gè)觀測(cè)值
data.head()

tail() 將顯示資料集的最後 5 個(gè)觀測(cè)值
data.tail()
info() 有助於了解資料類(lèi)型和資料的信息，包括每列的記錄數(shù)、資料是否為空、資料類(lèi)型、資料集的記憶體使用量

data.info()
data.info() 顯示變數(shù) Mileage、Engine、Power、Seats、New Price 和 Price 有缺失值。里程、功率等數(shù)字變數(shù)的資料類(lèi)型為： float64 和 int64。 Location、Fuel_Type、Transmission 和 Owner Type 等分類(lèi)變數(shù)屬於物件資料類(lèi)型。

檢查是否重複

nunique() 根據(jù)每列中的幾個(gè)唯一值和資料描述，我們可以識(shí)別資料中的連續(xù)列和分類(lèi)列。重複的數(shù)據(jù)可以根據(jù)進(jìn)一步分析進(jìn)行處理或刪除。
data.nunique()

https://www.analyticsvidhya.com/blog/2022/07/step-by-step-exploratory-data-analysis-eda-using-python/

缺失值計(jì)算

isnull() 廣泛應(yīng)用於所有預(yù)處理步驟中，用於識(shí)別資料中的空值
在我們的範(fàn)例中，data.isnull().sum() 用於取得每列中缺少的記錄數(shù)
data.isnull().sum()

下面的程式碼有助於計(jì)算每個(gè)欄位中缺失值的百分比
(data.isnull().sum()/(len(data)))*100

New_Price 和 Price 欄位的缺失值百分比分別為 ~86% 和 ~17%。

第 3 步：資料縮減

如果某些欄位或變數(shù)無(wú)法為我們的分析增加價(jià)值，則可以刪除它們。
在我們的資料集中，S.No 欄位只有 ID 值，假設(shè)它們沒(méi)有任何預(yù)測(cè)因變數(shù)的能力。

刪除 S.No.資料列

data = data.drop(['S.No.'], axis = 1)
data.info()

我們開(kāi)始特徵工程，因?yàn)槲覀冃枰砑右恍┓治鏊璧臋谖弧?

第四步：特徵工程

特徵工程是指在使用機(jī)器學(xué)習(xí)或統(tǒng)計(jì)建模建立預(yù)測(cè)模型時(shí)，使用領(lǐng)域知識(shí)從原始資料中選擇和轉(zhuǎn)換最相關(guān)變數(shù)的過(guò)程。特徵工程的主要目標(biāo)是從原始資料創(chuàng)建有意義的資料。

第 5 步：建立特徵

我們將使用資料集中的變數(shù) Year 和 Name。如果我們看到樣本數(shù)據(jù)，「年份」列顯示了汽車(chē)的製造年份。
如果採(cǎi)用年份格式，則很難找到汽車(chē)的年齡，因?yàn)槠?chē)的年齡是汽車(chē)價(jià)格的影響因素。
推出新欄位「Car_Age」以了解汽車(chē)的年齡
從日期時(shí)間匯入日期
日期.今天().年
data['Car_Age']=date.today().year-data['年份']
data.head()

因?yàn)樵谖覀兡壳暗臄?shù)據(jù)中，汽車(chē)名稱(chēng)並不能很好地預(yù)測(cè)價(jià)格。但我們可以處理此列，以使用品牌和型號(hào)名稱(chēng)提取重要資訊。讓我們拆分名稱(chēng)並引入新變數(shù)“品牌”和“型號(hào)”
data['Brand'] = data.Name.str.split().str.get(0)
data['Model'] = data.Name.str.split().str.get(1) data.Name.str.split().str.get(2)
data[['名稱(chēng)','品牌','型號(hào)']]

第 6 步：資料清理/整理
有些變數(shù)的名稱(chēng)不相關(guān)且不易理解。有些資料可能存在資料輸入錯(cuò)誤，有些變數(shù)可能需要資料類(lèi)型轉(zhuǎn)換。我們需要在數(shù)據(jù)中解決這個(gè)問(wèn)題。
在範(fàn)例中，品牌名稱(chēng)「Isuzu」、「ISUZU」、「Mini」和「Land」看起來(lái)不正確。

這個(gè)需要修正

印(data.Brand.unique())
print(data.Brand.nunique())
searchfor = ['五十鈴' ,'五十鈴','迷你','陸地']
data[data.Brand.str.contains('|'.join(searchfor))].head(5)
data["Brand"].replace({"ISUZU": "Isuzu", "Mini": "Mini Cooper","Land":"Land Rover"}, inplace=True)
我們已經(jīng)完成了基礎(chǔ)資料分析、特徵分析和資料清理。

讓我們進(jìn)入 EDA 流程

了解探索性資料分析的基礎(chǔ)：https://www.analyticsvidhya.com/blog/2021/11/fundamentals-of-exploratory-data-analysis/

第 7 步：EDA 探索性資料分析

探索性資料分析是指借助匯總統(tǒng)計(jì)資料和圖形表示對(duì)資料進(jìn)行初步調(diào)查以發(fā)現(xiàn)模式以檢查假設(shè)的關(guān)鍵流程。

? EDA 可用於檢查給定資料中的異常值、模式和趨勢(shì)。

? EDA 有助於發(fā)現(xiàn)資料中有意義的模式。

? EDA 提供對(duì)資料集的深入洞察，以解決??我們的業(yè)務(wù)問(wèn)題。

? EDA 提供了估算資料集中缺失值的線索

第 8 步：統(tǒng)計(jì)摘要

資訊對(duì)數(shù)據(jù)進(jìn)行了快速簡(jiǎn)單的描述。
可以包括計(jì)數(shù)、平均值、標(biāo)準(zhǔn)差、中位數(shù)、眾數(shù)、最小值、最大值、範(fàn)圍、標(biāo)準(zhǔn)差等

統(tǒng)計(jì)摘要給出了一個(gè)高層次的想法，以識(shí)別資料是否有異常值、資料輸入錯(cuò)誤、資料的分佈，例如資料是常態(tài)分佈還是左/右偏

在Python中，這可以使用describe()來(lái)實(shí)現(xiàn)
describe() 函數(shù)給出資料的所有統(tǒng)計(jì)摘要
描述（） ; 提供屬於數(shù)值資料型態(tài)（如 int、float）的資料的統(tǒng)計(jì)摘要
data.describe().T

從統(tǒng)計(jì)摘要中，我們可以推論出以下結(jié)果：
? 年份範(fàn)圍為 1996 年至 2019 年，範(fàn)圍較高，表示二手車(chē)包含最新型號(hào)和舊型號(hào)汽車(chē)。

? 二手車(chē)的平均行駛公里數(shù)約為 58,000 公里。此範(fàn)圍顯示最小值和最大值之間存在巨大差異，因?yàn)樽畲笾碉@示 650000 KM 顯示了異常值的證據(jù)。該記錄可以刪除。

? 里程最小值顯示 0 輛車(chē)不會(huì)以 0 里程出售。這聽(tīng)起來(lái)像是資料輸入問(wèn)題。
? 看起來(lái)引擎和動(dòng)力有異常值，且資料右偏。

?一輛車(chē)的平均座位數(shù)為5個(gè)。汽車(chē)座椅是價(jià)格貢獻(xiàn)的重要特徵。

? 二手車(chē)的最高價(jià)格是16萬(wàn)，這對(duì)二手車(chē)來(lái)說(shuō)是很奇怪的，這麼高的價(jià)格?？赡苡挟惓Ｖ祷蛸Y料輸入問(wèn)題。

describe(include='all') 提供所有資料的統(tǒng)計(jì)摘要，包括物件、類(lèi)別等
data.describe(include='all')

在進(jìn)行 EDA 之前，讓我們將 Numerical 和 calcategories 變數(shù)分開(kāi)以便於分析
cat_cols=data.select_dtypes(include=['object']).columns
num_cols = data.select_dtypes(include=np.number).columns.tolist()
print("分類(lèi)變數(shù)：")
列?。╟at_cols）
print("數(shù)值變數(shù)：")
印出（num_cols）
另外，請(qǐng)閱讀 Excel 和表格中的標(biāo)準(zhǔn)差一文 https://www.analyticsvidhya.com/blog/2024/06/standard-deviation-in-excel/

第 9 步：EDA 單變量分析
透過(guò)一次取得一個(gè)變數(shù)來(lái)分析/視覺(jué)化資料集：
資料視覺(jué)化至關(guān)重要；我們必須決定繪製哪些圖表以更好地理解資料。在本文中，我們使用 Matplotlib 和 Seaborn 函式庫(kù)來(lái)視覺(jué)化我們的資料。
Matplotlib 是一個(gè) Python 2D 繪圖庫(kù)，用於繪製基本圖表..
Seaborn 也是一個(gè)建立在 Matplotlib 之上的 Python 函式庫(kù)，它使用短行程式碼從 Pandas 和 Numpy 建立和設(shè)計(jì)統(tǒng)計(jì)圖
可以對(duì)分類(lèi)變數(shù)和數(shù)值變數(shù)進(jìn)行單變量分析。

可以使用計(jì)數(shù)圖、長(zhǎng)條圖、圓餅圖等來(lái)視覺(jué)化分類(lèi)變數(shù)。
數(shù)值變數(shù)可以使用直方圖、箱線圖、密度圖等視覺(jué)化

在我們的範(fàn)例中，我們使用直方圖和箱線圖對(duì)連續(xù)變數(shù)進(jìn)行了單變量分析。
在下圖中，直方圖和箱線圖用於顯示變數(shù)的模式，因?yàn)槟承┳償?shù)具有偏度和異常值。

對(duì)於 num_cols 中的欄位：
列?。ǚ謾冢?br> print('傾斜:', round(data[col].skew(), 2))
plt.figure(figsize = (15, 4))
plt.subplot(1, 2, 1)
數(shù)據(jù)[col].hist(grid=False)
plt.ylabel('計(jì)數(shù)')
plt.subplot(1, 2, 2)
sns.boxplot(x=data[col])
plt.show()

價(jià)格和行駛公里數(shù)對(duì)於要轉(zhuǎn)換的資料是右偏的，並且在使用計(jì)數(shù)圖視覺(jué)化插補(bǔ)分類(lèi)變數(shù)期間將處理所有異常值。分類(lèi)變數(shù)提供了影響汽車(chē)價(jià)格的因素模式。
無(wú)花果, 軸 = plt.subplots(3, 2, 無(wú)花果大小 = (18, 18))
Fig.suptitle('資料集中所有分類(lèi)變數(shù)的長(zhǎng)條圖')
sns.countplot(ax = axis[0, 0], x = 'Fuel_Type', data = 資料, color = '藍(lán)色',
order = data['Fuel_Type'].value_counts().index);
sns.countplot(ax = axis[0, 1], x = '傳輸', data = 資料, color = '藍(lán)色',
order = data['Transmission'].value_counts().index);
sns.countplot(ax =axes[1, 0], x = 'Owner_Type', data = 資料, color = '藍(lán)色',
order = data['Owner_Type'].value_counts().index);
sns.countplot(ax =axes[1, 1], x = '位置', data = 資料, color = '藍(lán)色',
order = data['Location'].value_counts().index);
sns.countplot(ax =axes[2, 0], x = '品牌', data = 資料, color = '藍(lán)色',
order = data['Brand'].head(20).value_counts().index);
sns.countplot(ax = axis[2, 1], x = '模型', data = 資料, color = '藍(lán)色',
order = data['Model'].head(20).value_counts().index);
axis[1][1].tick_params(labelrotation=45);
軸[2][0].tick_params(labelrotation=90);
軸[2][1].tick_params(labelrotation=90);

從計(jì)數(shù)圖中，我們可以得到以下觀察結(jié)果
? 孟買(mǎi)的可供購(gòu)買(mǎi)汽車(chē)數(shù)量最多，其次是海得拉巴和哥印拜陀
? ~53% 的汽車(chē)燃料類(lèi)型為柴油，這表明柴油汽車(chē)提供更高的性能
? ~72% 的汽車(chē)配備手排變速箱
? ~82% 的汽車(chē)是首次擁有的汽車(chē)。這說(shuō)明大部分買(mǎi)家更願(yuàn)意購(gòu)買(mǎi)首置車(chē)
? ~20% 的車(chē)屬於 Maruti 品牌，其次是 19% 的車(chē)屬於 Hyundai
? WagonR 在所有可供購(gòu)買(mǎi)的車(chē)款中排名第一。

結(jié)論：
探索性資料分析 (EDA) 透過(guò)檢測(cè)異常值、關(guān)鍵模式和變數(shù)之間的關(guān)係來(lái)揭示資料集中的見(jiàn)解和知識(shí)。它涉及收集、清理和轉(zhuǎn)換資料以揭示其屬性。
快樂(lè)閱讀，讓我們一起探索資料科學(xué)的未來(lái)...

以上是使用 Python 進(jìn)行探索性資料分析 (EDA)：從資料中揭示洞察的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！