數(shù)據(jù)質(zhì)量保證：與Dagster自動(dòng)檢查和良好期望

保持高數(shù)據(jù)質(zhì)量對(duì)於數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)至關(guān)重要。隨著數(shù)據(jù)量和源的增加，手動(dòng)質(zhì)量控制變得效率低下，容易出現(xiàn)錯(cuò)誤。自動(dòng)數(shù)據(jù)質(zhì)量檢查提供了可擴(kuò)展的解決方案，以保留數(shù)據(jù)完整性和可靠性。

我們的組織是一個(gè)大規(guī)模的公共網(wǎng)絡(luò)數(shù)據(jù)收集器，它利用了一個(gè)強(qiáng)大的自動(dòng)化系統(tǒng)，建立在開(kāi)源工具（Dagster）和巨大期望的基礎(chǔ)上。這些工具對(duì)我們的數(shù)據(jù)質(zhì)量管理策略至關(guān)重要，可以有效地驗(yàn)證和監(jiān)視我們的數(shù)據(jù)管道。

本文詳細(xì)介紹了我們使用dagster（數(shù)據(jù)編排）和良好期望（數(shù)據(jù)驗(yàn)證框架）對(duì)全面自動(dòng)數(shù)據(jù)質(zhì)量檢查的實(shí)施。我們將介紹這種方法的好處，提供實(shí)際實(shí)施見(jiàn)解和GitLab演示，以說(shuō)明這些工具如何改善您的數(shù)據(jù)質(zhì)量保證。

在研究細(xì)節(jié)之前，讓我們檢查每個(gè)工具。

關(guān)鍵學(xué)習(xí)點(diǎn)：

• 了解自動(dòng)數(shù)據(jù)質(zhì)量檢查在數(shù)據(jù)驅(qū)動(dòng)決策中的重要性。
• 了解如何使用Dagster和良好的期望來(lái)實(shí)施數(shù)據(jù)質(zhì)量檢查。
• 探索靜態(tài)和動(dòng)態(tài)數(shù)據(jù)的測(cè)試策略。
• 了解實(shí)時(shí)監(jiān)控和合規(guī)性在數(shù)據(jù)質(zhì)量管理中的好處。
• 實(shí)施一個(gè)用於自動(dòng)數(shù)據(jù)質(zhì)量驗(yàn)證的演示項(xiàng)目。

（本文是數(shù)據(jù)科學(xué)博客馬拉鬆的一部分。）

目錄：

• 介紹
• DAGSTER：開(kāi)源數(shù)據(jù)編排
• 巨大的期望：數(shù)據(jù)驗(yàn)證框架
• 需要自動(dòng)數(shù)據(jù)質(zhì)量檢查的需求
• 數(shù)據(jù)質(zhì)量測(cè)試策略
• 實(shí)施自動(dòng)數(shù)據(jù)質(zhì)量檢查
• 結(jié)論
• 常見(jiàn)問(wèn)題

DAGSTER：編排數(shù)據(jù)管道

Dagster簡(jiǎn)化了用於ETL，分析和機(jī)器學(xué)習(xí)工作流的數(shù)據(jù)管道的建築物，調(diào)度和監(jiān)視。該基於Python的工具簡(jiǎn)化了數(shù)據(jù)科學(xué)家和工程師的調(diào)試，資產(chǎn)檢查以及狀態(tài)/元數(shù)據(jù)/依賴性跟蹤。 Dagster與Azure，Google Cloud，AWS和其他常見(jiàn)工具相結(jié)合，增強(qiáng)了管道可靠性，可伸縮性和可維護(hù)性。儘管存在諸如氣流和豪宅之類(lèi)的替代方案，但達(dá)格斯特（Dagster）提供了引人注目的優(yōu)勢(shì)（通過(guò)在線比較很容易找到）。

巨大的期望：數(shù)據(jù)驗(yàn)證強(qiáng)國(guó)

巨大的期望是一個(gè)維持?jǐn)?shù)據(jù)質(zhì)量的開(kāi)源平臺(tái)。它使用“期望”（關(guān)於數(shù)據(jù)的斷言）提供基於架構(gòu)和基於價(jià)值的驗(yàn)證，包括檢查最大/最小值和計(jì)數(shù)的檢查。它還驗(yàn)證數(shù)據(jù)並基於輸入數(shù)據(jù)（需要調(diào)整，但節(jié)省時(shí)間）生成期望。偉大的期望與Google Cloud，Snowflake，Azure和其他20多個(gè)工具集成在一起。儘管它可能為非技術(shù)用戶帶來(lái)更陡峭的學(xué)習(xí)曲線，但其優(yōu)勢(shì)是顯著的。

為什麼要自動(dòng)數(shù)據(jù)質(zhì)量檢查？

自動(dòng)化質(zhì)量檢查為處理大量關(guān)鍵數(shù)據(jù)的組織提供了許多好處。為了準(zhǔn)確，完整和一致的信息，自動(dòng)化超過(guò)了容易出錯(cuò)的手動(dòng)過(guò)程。這是五個(gè)關(guān)鍵原因：

• 數(shù)據(jù)完整性：使用預(yù)定義的質(zhì)量標(biāo)準(zhǔn)建立可靠的數(shù)據(jù)，從而降低了假設(shè)和決策有缺陷的風(fēng)險(xiǎn)。
• 錯(cuò)誤最小化：雖然無(wú)法完全消除錯(cuò)誤，但自動(dòng)化可最大程度地減少其發(fā)生，並允許早期的異常檢測(cè)，並節(jié)省資源。
• 效率：自動(dòng)化使數(shù)據(jù)團(tuán)隊(duì)擺脫了耗時(shí)的手動(dòng)檢查，使他們可以專(zhuān)注於分析和報(bào)告。
• 實(shí)時(shí)監(jiān)視：與較慢的手動(dòng)檢查不同，可以在升級(jí)之前立即進(jìn)行檢測(cè)。
• 合規(guī)性：支持?jǐn)?shù)據(jù)質(zhì)量合規(guī)性要求，尤其是對(duì)受監(jiān)管行業(yè)至關(guān)重要的要求。自動(dòng)檢查提供了可驗(yàn)證的數(shù)據(jù)質(zhì)量證據(jù)。

數(shù)據(jù)質(zhì)量測(cè)試方法

我們的方法按數(shù)據(jù)類(lèi)型（靜態(tài)或動(dòng)態(tài)）和檢查類(lèi)型（固定或覆蓋範(fàn)圍）對(duì)測(cè)試進(jìn)行分類(lèi)。

• 靜態(tài)固定測(cè)試：這些使用預(yù)先保存的靜態(tài)燈具（例如，HTML文件）並將解析器輸出與預(yù)期輸出進(jìn)行比較。它們以CI/CD管道運(yùn)行，以檢測(cè)破裂變化。
• 動(dòng)態(tài)固定測(cè)試：類(lèi)似於靜態(tài)測(cè)試，但實(shí)時(shí)刮擦數(shù)據(jù)，驗(yàn)證刮板和解析器功能並檢測(cè)佈局變化。這些是計(jì)劃的，而不是在每個(gè)合併請(qǐng)求上運(yùn)行。
• 動(dòng)態(tài)覆蓋範(fàn)圍測(cè)試：無(wú)論是否控製配置文件，這些都可以根據(jù)預(yù)定義的規(guī)則（期望）檢查數(shù)據(jù)。這對(duì)於各種來(lái)源的數(shù)據(jù)質(zhì)量保證至關(guān)重要。

實(shí)施自動(dòng)數(shù)據(jù)質(zhì)量檢查

我們的GitLab演示展示了Dagster的使用和對(duì)數(shù)據(jù)質(zhì)量測(cè)試的良好期望。演示圖包括數(shù)據(jù)加載，結(jié)構(gòu)加載，數(shù)據(jù)扁平，數(shù)據(jù)框架創(chuàng)建，良好的期望驗(yàn)證和驗(yàn)證結(jié)果檢查。

該演示包括對(duì)Owler公司數(shù)據(jù)的數(shù)據(jù)，結(jié)構(gòu)和期望。提供了生成自己的結(jié)構(gòu)和期望的說(shuō)明。該演示演示瞭如何使用dagster來(lái)協(xié)調(diào)數(shù)據(jù)流以及執(zhí)行驗(yàn)證的巨大期望。該過(guò)程包括扁平的嵌套數(shù)據(jù)結(jié)構(gòu)，以創(chuàng)建單個(gè)SPARK DATAFREMES以進(jìn)行驗(yàn)證。

結(jié)論

存在各種數(shù)據(jù)質(zhì)量測(cè)試方法，具體取決於管道階段。強(qiáng)大的自動(dòng)化系統(tǒng)對(duì)於確保數(shù)據(jù)的準(zhǔn)確性和可靠性至關(guān)重要。雖然所有測(cè)試並非嚴(yán)格必需（例如，靜態(tài)固定測(cè)試），但達(dá)格斯特（Dagster）和良好期望等工具可顯著提高數(shù)據(jù)質(zhì)量保證。本指南為改善或建立數(shù)據(jù)質(zhì)量流程提供了寶貴的見(jiàn)解。

關(guān)鍵要點(diǎn)：

• 數(shù)據(jù)質(zhì)量對(duì)於準(zhǔn)確的分析和預(yù)防昂貴的錯(cuò)誤至關(guān)重要。
• Dagster自動(dòng)化並協(xié)調(diào)數(shù)據(jù)管道，提供監(jiān)視和調(diào)度。
• 偉大的期望為定義，測(cè)試和監(jiān)視數(shù)據(jù)質(zhì)量提供了靈活的框架。
• 結(jié)合DAGSTER和良好的期望可以實(shí)現(xiàn)自動(dòng)化的實(shí)時(shí)數(shù)據(jù)質(zhì)量檢查。
• 強(qiáng)大的數(shù)據(jù)質(zhì)量過(guò)程可確保合規(guī)性並建立對(duì)數(shù)據(jù)驅(qū)動(dòng)的見(jiàn)解的信任。

常見(jiàn)問(wèn)題：

• 問(wèn)題1：達(dá)格斯特的目的？ A1：Dagster協(xié)調(diào)和自動(dòng)化數(shù)據(jù)管道以進(jìn)行有效的工作流程。
• 問(wèn)題2：期望的角色？ A2：巨大的期望定義，驗(yàn)證和監(jiān)視數(shù)據(jù)質(zhì)量期望。
• 問(wèn)題3：達(dá)格斯特和巨大的期望集成？ A3：Dagster對(duì)管道內(nèi)的自動(dòng)數(shù)據(jù)質(zhì)量檢查充滿期望。
• 問(wèn)題4：數(shù)據(jù)質(zhì)量在分析中的重要性？ A4：高數(shù)據(jù)質(zhì)量可確保準(zhǔn)確的見(jiàn)解，防止錯(cuò)誤並改善決策。

（注意：本文中的媒體與作者的許可一起使用，而不是Analytics Vidhya所有。）

以上是使用dagster自動(dòng)化數(shù)據(jù)質(zhì)量檢查的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！