またハッカソン？

現(xiàn)時點で、私は 9 回のハッカソンに參加しており、そのうち 1 回は國際的なもので、そのうち 4 回 で優(yōu)勝しました。またしても、私の後輩の Dhruv と Tushar が Golang 固有のハッカソンについて教えてくれたとき、私は Harsh を連れて行きました。そして、Harsh だけでなく、私たちのチーム Point Blank からも 40 人を引き連れたので、最終的にはハッカソンを私たち獨自の社內(nèi)コンテストにすることになりました (笑)。

私たちのチーム GoGoingGone (爆笑) は全員、Golang を使用した経験が豊富でしたが、単に別のツールを構(gòu)築する以上のことをしたいと考えていました。私たちは革新したかったのです。そのとき、動的な構(gòu)成可能なデータ パイプラインを定義するために、ミニ言語を構(gòu)築してみようというアイデアが浮かびました。

導(dǎo)入

私はアカシュ シンです。工學(xué)部 3 年生で、バンガロール出身のオープンソース コントリビューターです。
これが私の LinkedIn、GitHub、Twitter です

オンラインでは SkySingh04 という名前で活動しています。

フラクタル の紹介

Fractal は、レガシー システム (SQL データベースや CSV ファイルなど) から MongoDB や AWS S3 などの最新のプラットフォームにシームレスに移行するためのデータ処理ツールとして始まりました。しかし、私たちが望んでいたのは単なる ETL ツールではありませんでした。このアイデアは、非常に柔軟でユーザーフレンドリーにし、ユーザーがシンプルな宣言構(gòu)文、つまりミニ言語で検証と変換ルールを定義できるようにするというものでした。ツール內(nèi)。

なぜミニ言語なのか?

データ パイプライン領(lǐng)域のほとんどのツールが厳格な構(gòu)成またはカスタム スクリプトに依存していることがわかりました。このアプローチには多くの場合、高度なプログラミングの専門知識が必要となるため、開発者以外のアクセシビリティが制限されます。宣言型ミニ言語は以下を提供します:

1. シンプルさ: ユーザーは直感的で人間が読める形式でルールを定義します。
2. 柔軟性: 基本的な検証から複雑な変換まで、幅広いユースケースに対応します。
3. スケーラビリティ: ミニ言語は、新しい要件の発生に応じて進化できます。

このミニ言語は車輪の再発明に関するものではなく、データ変換と検証を合理化するための抽象化を提供するものでした。

これを単純な yaml ファイル構(gòu)成と組み合わせることで、あるソースから別のソースに大規(guī)模にデータを処理できる、簡単に構(gòu)成できるデータ パイプラインを作成できると考えました。

コア: 検証と変換の構(gòu)文

次の 2 つの主要な操作に重點を置き、シンプルでありながら表現(xiàn)力豊かになるように構(gòu)文を設(shè)計しました。

1. 検証ルール これらにより、受信データがさらに処理される前に特定の品質(zhì)基準(zhǔn)を満たしていることが保証されます。例えば：

   FIELD("age") TYPE(INT) RANGE(18, 65)
   FIELD("email") MATCHES(EMAIL_REGEX)
   FIELD("status") IN ("active", "inactive")

1. 変換ルール これらにより、データの強化や再構(gòu)築が可能になります。例えば：

   RENAME("old_field", "new_field")
   MAP("status", {"0": "inactive", "1": "active"})
   ADD_FIELD("processed_at", CURRENT_TIME())
   IF FIELD("age") > 50 THEN ADD_FIELD("senior_discount", TRUE)

この抽象化により、ユーザーは最小限の労力で多様なデータセットを処理できるようになり、生産性が向上し、複雑さが軽減されました。

この言語のレクサーとパーサーを作成する方法を考えている最中に、GoFr.dev のチームは私たち全員を 2 階のストレス解消セッションに連れて行ってくれました。それは深夜のシャライとジャム セッションでいっぱいでした。

ハッカソンでフラクタルを構(gòu)築する

ハッカソンはミニ言語を作成するだけではありませんでした。また、Fractal が次の狀態(tài)になるように、周囲のインフラストラクチャも構(gòu)築する必要がありました。

1. 拡張可能: JSON、CSV、SQL データベース、メッセージ キューなどの複數(shù)の入出力形式をサポートします。
2. 構(gòu)成可能: パイプライン ワークフローを定義するための YAML ベースの構(gòu)成。ミニ言語をシームレスに統(tǒng)合します。
3. 堅牢: LOG_AND_CONTINUE や STOP などのオプションを使用してエラーを適切に処理します。

作業(yè)を 4 つのモジュールに分割しました:

• ミニ言語実裝: カスタム構(gòu)文を解釈するレクサーとパーサーを設(shè)計します。
• データ統(tǒng)合: 一般的なデータ ソースと宛先のサポートを追加します。
• パイプライン エンジン: 検証、変換、エラー処理を調(diào)整します。
• CLI インターフェイス: パイプラインを定義および実行するためのシンプルなインターフェイスを提供します。

私たちが直面した課題

1. 構(gòu)文の設(shè)計 シンプルさと柔軟性のバランスを取るのが課題でした。構(gòu)文を完成させるために何度も繰り返しました。
2. パーサーの構(gòu)築 Golang でカスタム レクサーとパーサーを?qū)g裝するのは時間はかかりましたが、やりがいがありました。
3. リアルタイムフィードバック ミニ言語でユーザーをガイドするための意味のあるエラー メッセージが提供されるようにすることは、使いやすさにとって重要でした。
4. 時間制限 ハッカソン環(huán)境でこの規(guī)模のツールを構(gòu)築するには、正確な計畫とシームレスな調(diào)整が必要でした。

その後、何が起こったのでしょうか？

GO for GOFR ハカソンでは好成績を収めたにもかかわらず、最終評価では重大な課題に直面しました。審査員は録畫したデモに加えてライブ デモンストレーションを要求しましたが、殘念ながらライブ実行中にパーサー ロジックで予期しないバグが発生しました。わずか 24 時間以內(nèi)に堅牢なカスタム パーサーを構(gòu)築するという複雑さを考えると、これは野心的な開発機能であり、録畫されたデモでその機能が紹介されましたが、時間の制約の下で 100% の精度を達成するのは難しいことが判明しました。この問題により、最終的に最優(yōu)秀賞を逃してしまいました。しかし、それでも私たちの努力は高く評価され、私たちのチームの明確なビジョンと説得力のある成果により、私たちの可能性と創(chuàng)意工夫を強調(diào)する「ベストピッチ」の栄譽を獲得しました。

それでハッカソンか？

ハッカソンは、多くの場合、限界を押し広げ、未知の領(lǐng)域を探索することを目的としています。 Fractal は、データ処理ツールをアクセスしやすく、モジュール式で開発者にとって使いやすいものにすることで、データ処理ツールの動作方法を再定義するという私たちの試みでした。

これ以上に同じ志を持った人々が私と一緒にこの仕事に取り組んでくれることを望むことはできませんでした。間違いなく最高で勤勉なチームメイトです。次のハッカソン、あえて言えば、RUST ベースのハッカソンに參加するきっかけを楽しみにしています。 xD

GitHub で Fractal をチェックしてください

ピッチデッキ: ドライブリンク

または、ご自身で試してみて、ご意見をお聞かせください!

以上がGolang ハッカソン用のミニ言語を構(gòu)築した理由の詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。