數(shù)據(jù)質(zhì)量保證：與Dagster自動(dòng)檢查和良好期望

保持高數(shù)據(jù)質(zhì)量對于數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)至關(guān)重要。隨著數(shù)據(jù)量和源的增加，手動(dòng)質(zhì)量控制變得效率低下，容易出現(xiàn)錯(cuò)誤。自動(dòng)數(shù)據(jù)質(zhì)量檢查提供了可擴(kuò)展的解決方案，以保留數(shù)據(jù)完整性和可靠性。

我們的組織是一個(gè)大規(guī)模的公共網(wǎng)絡(luò)數(shù)據(jù)收集器，它利用了一個(gè)強(qiáng)大的自動(dòng)化系統(tǒng)，建立在開源工具（Dagster）和巨大期望的基礎(chǔ)上。這些工具對我們的數(shù)據(jù)質(zhì)量管理策略至關(guān)重要，可以有效地驗(yàn)證和監(jiān)視我們的數(shù)據(jù)管道。

本文詳細(xì)介紹了我們使用dagster（數(shù)據(jù)編排）和良好期望（數(shù)據(jù)驗(yàn)證框架）對全面自動(dòng)數(shù)據(jù)質(zhì)量檢查的實(shí)施。我們將介紹這種方法的好處，提供實(shí)際實(shí)施見解和GitLab演示，以說明這些工具如何改善您的數(shù)據(jù)質(zhì)量保證。

在研究細(xì)節(jié)之前，讓我們檢查每個(gè)工具。

關(guān)鍵學(xué)習(xí)點(diǎn)：

• 了解自動(dòng)數(shù)據(jù)質(zhì)量檢查在數(shù)據(jù)驅(qū)動(dòng)決策中的重要性。
• 了解如何使用Dagster和良好的期望來實(shí)施數(shù)據(jù)質(zhì)量檢查。
• 探索靜態(tài)和動(dòng)態(tài)數(shù)據(jù)的測試策略。
• 了解實(shí)時(shí)監(jiān)控和合規(guī)性在數(shù)據(jù)質(zhì)量管理中的好處。
• 實(shí)施一個(gè)用于自動(dòng)數(shù)據(jù)質(zhì)量驗(yàn)證的演示項(xiàng)目。

（本文是數(shù)據(jù)科學(xué)博客馬拉松的一部分。）

目錄：

• 介紹
• DAGSTER：開源數(shù)據(jù)編排
• 巨大的期望：數(shù)據(jù)驗(yàn)證框架
• 需要自動(dòng)數(shù)據(jù)質(zhì)量檢查的需求
• 數(shù)據(jù)質(zhì)量測試策略
• 實(shí)施自動(dòng)數(shù)據(jù)質(zhì)量檢查
• 結(jié)論
• 常見問題

DAGSTER：編排數(shù)據(jù)管道

Dagster簡化了用于ETL，分析和機(jī)器學(xué)習(xí)工作流的數(shù)據(jù)管道的建筑物，調(diào)度和監(jiān)視。該基于Python的工具簡化了數(shù)據(jù)科學(xué)家和工程師的調(diào)試，資產(chǎn)檢查以及狀態(tài)/元數(shù)據(jù)/依賴性跟蹤。 Dagster與Azure，Google Cloud，AWS和其他常見工具相結(jié)合，增強(qiáng)了管道可靠性，可伸縮性和可維護(hù)性。盡管存在諸如氣流和豪宅之類的替代方案，但達(dá)格斯特（Dagster）提供了引人注目的優(yōu)勢（通過在線比較很容易找到）。

巨大的期望：數(shù)據(jù)驗(yàn)證強(qiáng)國

巨大的期望是一個(gè)維持?jǐn)?shù)據(jù)質(zhì)量的開源平臺(tái)。它使用“期望”（關(guān)于數(shù)據(jù)的斷言）提供基于架構(gòu)和基于價(jià)值的驗(yàn)證，包括檢查最大/最小值和計(jì)數(shù)的檢查。它還驗(yàn)證數(shù)據(jù)并基于輸入數(shù)據(jù)（需要調(diào)整，但節(jié)省時(shí)間）生成期望。偉大的期望與Google Cloud，Snowflake，Azure和其他20多個(gè)工具集成在一起。盡管它可能為非技術(shù)用戶帶來更陡峭的學(xué)習(xí)曲線，但其優(yōu)勢是顯著的。

為什么要自動(dòng)數(shù)據(jù)質(zhì)量檢查？

自動(dòng)化質(zhì)量檢查為處理大量關(guān)鍵數(shù)據(jù)的組織提供了許多好處。為了準(zhǔn)確，完整和一致的信息，自動(dòng)化超過了容易出錯(cuò)的手動(dòng)過程。這是五個(gè)關(guān)鍵原因：

• 數(shù)據(jù)完整性：使用預(yù)定義的質(zhì)量標(biāo)準(zhǔn)建立可靠的數(shù)據(jù)，從而降低了假設(shè)和決策有缺陷的風(fēng)險(xiǎn)。
• 錯(cuò)誤最小化：雖然無法完全消除錯(cuò)誤，但自動(dòng)化可最大程度地減少其發(fā)生，并允許早期的異常檢測，并節(jié)省資源。
• 效率：自動(dòng)化使數(shù)據(jù)團(tuán)隊(duì)擺脫了耗時(shí)的手動(dòng)檢查，使他們可以專注于分析和報(bào)告。
• 實(shí)時(shí)監(jiān)視：與較慢的手動(dòng)檢查不同，可以在升級(jí)之前立即進(jìn)行檢測。
• 合規(guī)性：支持?jǐn)?shù)據(jù)質(zhì)量合規(guī)性要求，尤其是對受監(jiān)管行業(yè)至關(guān)重要的要求。自動(dòng)檢查提供了可驗(yàn)證的數(shù)據(jù)質(zhì)量證據(jù)。

數(shù)據(jù)質(zhì)量測試方法

我們的方法按數(shù)據(jù)類型（靜態(tài)或動(dòng)態(tài)）和檢查類型（固定或覆蓋范圍）對測試進(jìn)行分類。

• 靜態(tài)固定測試：這些使用預(yù)先保存的靜態(tài)燈具（例如，HTML文件）并將解析器輸出與預(yù)期輸出進(jìn)行比較。它們以CI/CD管道運(yùn)行，以檢測破裂變化。
• 動(dòng)態(tài)固定測試：類似于靜態(tài)測試，但實(shí)時(shí)刮擦數(shù)據(jù)，驗(yàn)證刮板和解析器功能并檢測布局變化。這些是計(jì)劃的，而不是在每個(gè)合并請求上運(yùn)行。
• 動(dòng)態(tài)覆蓋范圍測試：無論是否控制配置文件，這些都可以根據(jù)預(yù)定義的規(guī)則（期望）檢查數(shù)據(jù)。這對于各種來源的數(shù)據(jù)質(zhì)量保證至關(guān)重要。

實(shí)施自動(dòng)數(shù)據(jù)質(zhì)量檢查

我們的GitLab演示展示了Dagster的使用和對數(shù)據(jù)質(zhì)量測試的良好期望。演示圖包括數(shù)據(jù)加載，結(jié)構(gòu)加載，數(shù)據(jù)扁平，數(shù)據(jù)框架創(chuàng)建，良好的期望驗(yàn)證和驗(yàn)證結(jié)果檢查。

該演示包括對Owler公司數(shù)據(jù)的數(shù)據(jù)，結(jié)構(gòu)和期望。提供了生成自己的結(jié)構(gòu)和期望的說明。該演示演示了如何使用dagster來協(xié)調(diào)數(shù)據(jù)流以及執(zhí)行驗(yàn)證的巨大期望。該過程包括扁平的嵌套數(shù)據(jù)結(jié)構(gòu)，以創(chuàng)建單個(gè)SPARK DATAFREMES以進(jìn)行驗(yàn)證。

結(jié)論

存在各種數(shù)據(jù)質(zhì)量測試方法，具體取決于管道階段。強(qiáng)大的自動(dòng)化系統(tǒng)對于確保數(shù)據(jù)的準(zhǔn)確性和可靠性至關(guān)重要。雖然所有測試并非嚴(yán)格必需（例如，靜態(tài)固定測試），但達(dá)格斯特（Dagster）和良好期望等工具可顯著提高數(shù)據(jù)質(zhì)量保證。本指南為改善或建立數(shù)據(jù)質(zhì)量流程提供了寶貴的見解。

關(guān)鍵要點(diǎn)：

• 數(shù)據(jù)質(zhì)量對于準(zhǔn)確的分析和預(yù)防昂貴的錯(cuò)誤至關(guān)重要。
• Dagster自動(dòng)化并協(xié)調(diào)數(shù)據(jù)管道，提供監(jiān)視和調(diào)度。
• 偉大的期望為定義，測試和監(jiān)視數(shù)據(jù)質(zhì)量提供了靈活的框架。
• 結(jié)合DAGSTER和良好的期望可以實(shí)現(xiàn)自動(dòng)化的實(shí)時(shí)數(shù)據(jù)質(zhì)量檢查。
• 強(qiáng)大的數(shù)據(jù)質(zhì)量過程可確保合規(guī)性并建立對數(shù)據(jù)驅(qū)動(dòng)的見解的信任。

常見問題：

• 問題1：達(dá)格斯特的目的？ A1：Dagster協(xié)調(diào)和自動(dòng)化數(shù)據(jù)管道以進(jìn)行有效的工作流程。
• 問題2：期望的角色？ A2：巨大的期望定義，驗(yàn)證和監(jiān)視數(shù)據(jù)質(zhì)量期望。
• 問題3：達(dá)格斯特和巨大的期望集成？ A3：Dagster對管道內(nèi)的自動(dòng)數(shù)據(jù)質(zhì)量檢查充滿期望。
• 問題4：數(shù)據(jù)質(zhì)量在分析中的重要性？ A4：高數(shù)據(jù)質(zhì)量可確保準(zhǔn)確的見解，防止錯(cuò)誤并改善決策。

（注意：本文中的媒體與作者的許可一起使用，而不是Analytics Vidhya所有。）

以上是使用dagster自動(dòng)化數(shù)據(jù)質(zhì)量檢查的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！