又是黑客馬拉松？

到目前為止，我已經(jīng)參加了9 場(chǎng)黑客馬拉松，其中一場(chǎng)是國(guó)際比賽，甚至在4 場(chǎng)比賽中獲勝。話又說(shuō)回來(lái)，當(dāng)我的學(xué)弟 Dhruv 和 Tushar 告訴我關(guān)于 Golang Specific 的黑客馬拉松時(shí)，我把 Harsh 也拉了過(guò)來(lái)，因?yàn)闉槭裁床荒?。不僅僅是 Harsh，我還拉了我們 Point Blank 團(tuán)隊(duì)的 40 個(gè)人一起參加，這最終讓黑客馬拉松變成了我們自己的內(nèi)部競(jìng)賽，哈哈。

我們團(tuán)隊(duì)中的所有人GoGoingGone（lmao）都有使用 Golang 的良好經(jīng)驗(yàn)，但我們想做的不僅僅是構(gòu)建另一個(gè)工具。我們想要?jiǎng)?chuàng)新。就在那時(shí)，這個(gè)想法突然出現(xiàn)——讓我們構(gòu)建一種迷你語(yǔ)言來(lái)定義動(dòng)態(tài)、可配置的數(shù)據(jù)管道。

介紹

我是 Akash Singh，來(lái)自班加羅爾的三年級(jí)工程專業(yè)學(xué)生和開(kāi)源貢獻(xiàn)者。
這是我的 LinkedIn、GitHub 和 Twitter

我在網(wǎng)上的名字是SkySingh04。

介紹分形

Fractal 最初是一種數(shù)據(jù)處理工具，用于從遺留系統(tǒng)（例如 SQL 數(shù)據(jù)庫(kù)和 CSV 文件）無(wú)縫遷移到現(xiàn)代平臺(tái)，例如 MongoDB 或 AWS S3。但我們想要的不僅僅是另一個(gè) ETL 工具。我們的想法是使其高度靈活且用戶友好，允許用戶使用簡(jiǎn)單的聲明性語(yǔ)法（一種迷你語(yǔ)言）定義驗(yàn)證和轉(zhuǎn)換規(guī)則在工具內(nèi)。

為什么是迷你語(yǔ)言？

我們觀察到數(shù)據(jù)管道空間中的大多數(shù)工具都依賴于嚴(yán)格的配置或自定義腳本。這種方法通常需要大量的編程專業(yè)知識(shí)，這限制了非開(kāi)發(fā)人員的可訪問(wèn)性。聲明性迷你語(yǔ)言提供：

1. 簡(jiǎn)單性：用戶以直觀、人類可讀的格式定義規(guī)則。
2. 靈活性：它適應(yīng)廣泛的用例，從基本驗(yàn)證到復(fù)雜轉(zhuǎn)換。
3. 可擴(kuò)展性：迷你語(yǔ)言可以隨著新需求的出現(xiàn)而發(fā)展。

這種迷你語(yǔ)言并不是要重新發(fā)明輪子，而是要提供一個(gè)抽象來(lái)簡(jiǎn)化數(shù)據(jù)轉(zhuǎn)換和驗(yàn)證。

當(dāng)這與簡(jiǎn)單的 yaml 文件配置相結(jié)合時(shí)，我們認(rèn)為我們已經(jīng)達(dá)到了目標(biāo)，即創(chuàng)建一個(gè)易于配置的數(shù)據(jù)管道，可以大規(guī)模地將數(shù)據(jù)從一個(gè)源處理到另一個(gè)源。

核心：驗(yàn)證和轉(zhuǎn)換語(yǔ)法

我們將語(yǔ)法設(shè)計(jì)得簡(jiǎn)單而富有表現(xiàn)力，重點(diǎn)關(guān)注兩個(gè)主要操作：

1. 驗(yàn)證規(guī)則 這些確保傳入的數(shù)據(jù)在進(jìn)一步處理之前滿足特定的質(zhì)量標(biāo)準(zhǔn)。例如：

   FIELD("age") TYPE(INT) RANGE(18, 65)
   FIELD("email") MATCHES(EMAIL_REGEX)
   FIELD("status") IN ("active", "inactive")

1. 轉(zhuǎn)換規(guī)則 這些可以實(shí)現(xiàn)數(shù)據(jù)豐富或重組。例如：

   RENAME("old_field", "new_field")
   MAP("status", {"0": "inactive", "1": "active"})
   ADD_FIELD("processed_at", CURRENT_TIME())
   IF FIELD("age") > 50 THEN ADD_FIELD("senior_discount", TRUE)

這種抽象允許用戶以最小的努力處理不同的數(shù)據(jù)集，從而提高生產(chǎn)力并降低復(fù)雜性。

在弄清楚如何制作這種語(yǔ)言的詞法分析器和解析器的過(guò)程中，GoFr.dev 的團(tuán)隊(duì)帶我們上樓參加了一次減壓課程，其中充滿了深夜的 sharayis 和即興演奏！

在黑客馬拉松上構(gòu)建分形

黑客馬拉松不僅僅是為了創(chuàng)建迷你語(yǔ)言。我們還必須建設(shè)周圍的基礎(chǔ)設(shè)施，確保分形：

1. 可擴(kuò)展：支持多種輸入/輸出格式，如 JSON、CSV、SQL 數(shù)據(jù)庫(kù)和消息隊(duì)列。
2. 可配置：基于 YAML 的配置，用于定義管道工作流程，無(wú)縫集成迷你語(yǔ)言。
3. 魯棒：使用 LOG_AND_CONTINUE 或 STOP 等選項(xiàng)優(yōu)雅地處理錯(cuò)誤。

我們將工作分為四個(gè)模塊：

• 迷你語(yǔ)言實(shí)現(xiàn)：設(shè)計(jì)詞法分析器和解析器來(lái)解釋自定義語(yǔ)法。
• 數(shù)據(jù)集成：添加對(duì)常見(jiàn)數(shù)據(jù)源和目標(biāo)的支持。
• 管道引擎：編排驗(yàn)證、轉(zhuǎn)換和錯(cuò)誤處理。
• CLI 接口：提供用于定義和運(yùn)行管道的簡(jiǎn)單接口。

我們面臨的挑戰(zhàn)

1. 設(shè)計(jì)語(yǔ)法 在簡(jiǎn)單性和靈活性之間取得平衡是一個(gè)挑戰(zhàn)。我們迭代了多次來(lái)最終確定語(yǔ)法。
2. 構(gòu)建解析器 在 Golang 中實(shí)現(xiàn)自定義詞法分析器和解析器非常耗時(shí)，但回報(bào)豐厚。
3. 實(shí)時(shí)反饋 確保迷你語(yǔ)言提供有意義的錯(cuò)誤消息來(lái)指導(dǎo)用戶對(duì)于可用性至關(guān)重要。
4. 時(shí)間限制 在黑客馬拉松中構(gòu)建如此規(guī)模的工具需要精確的規(guī)劃和無(wú)縫的協(xié)調(diào)。

之后發(fā)生了什么？

盡管我們?cè)?GO for GOFR 黑客馬拉松中表現(xiàn)出色，但我們?cè)谧罱K評(píng)估過(guò)程中面臨著嚴(yán)峻的挑戰(zhàn)。除了我們錄制的演示之外，評(píng)委還要求進(jìn)行現(xiàn)場(chǎng)演示，不幸的是，我們?cè)诂F(xiàn)場(chǎng)運(yùn)行期間遇到了解析器邏輯中的意外錯(cuò)誤?？紤]到在短短 24 小時(shí)內(nèi)構(gòu)建強(qiáng)大的自定義解析器的復(fù)雜性，這是一項(xiàng)雄心勃勃的開(kāi)發(fā)功能，雖然我們錄制的演示展示了其功能，但在時(shí)間限制下實(shí)現(xiàn) 100% 的準(zhǔn)確性被證明是困難的。這個(gè)小問(wèn)題最終讓我們失去了最高獎(jiǎng)項(xiàng)。然而，我們的努力仍然受到高度評(píng)價(jià)，我們團(tuán)隊(duì)清晰的愿景和引人注目的交付為我們贏得了“最佳推介”的榮譽(yù)，凸顯了我們的潛力和獨(dú)創(chuàng)性。

那么黑客馬拉松是吧？

黑客馬拉松通常是關(guān)于突破界限和探索未知領(lǐng)域。 Fractal 是我們重新定義數(shù)據(jù)處理工具工作方式的嘗試——讓它們變得可訪問(wèn)、模塊化且對(duì)開(kāi)發(fā)人員友好。

我找不到比這更志同道合的人與我一起工作了，毫無(wú)疑問(wèn)，他們是絕對(duì)最好、最勤奮的隊(duì)友。期待是什么讓我參加下一次黑客馬拉松，我敢說(shuō)，基于 RUST 的黑客馬拉松嗎？ xD

查看 GitHub 上的 Fractal

推介材料：Drive Link

或者自己嘗試一下，讓我們知道您的想法！

以上是為什么我們?yōu)?Golang 黑客馬拉松構(gòu)建迷你語(yǔ)言的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！