Schon wieder ein Hackathon?

Zu diesem Zeitpunkt war ich bei 9 Hackathons, einer davon war ein internationaler und ich habe sogar 4 davon gewonnen. Andererseits, als meine Junioren Dhruv und Tushar mir von einem Golang-spezifischen Hackathon erz?hlten, schleppte ich Harsh mit, denn warum nicht? Und nicht nur Harsh, ich habe auch 40 Leute aus unserem Team Point Blank mitgeschleppt, was den Hackathon letztendlich zu unserem eigenen internen Wettbewerb gemacht hat, haha.

Wir alle in unserem Team GoGoingGone (lmao) hatten gute Erfahrungen mit Golang, aber wir wollten mehr als nur ein weiteres Tool entwickeln. Wir wollten innovativ sein. Da kam mir die Idee: Lassen Sie uns eine Minisprache erstellen, um dynamische, konfigurierbare Datenpipelines zu definieren.

Einführung

Ich bin Akash Singh, ein Ingenieurstudent im dritten Jahr und Open-Source-Mitwirkender aus Bangalore.
Hier ist mein LinkedIn, GitHub und Twitter

Ich bin online unter dem Namen SkySingh04 bekannt.

Wir stellen vor: Fraktal

Fractal begann als Datenverarbeitungstool für die nahtlose Migration von Legacy-Systemen (wie SQL-Datenbanken und CSV-Dateien) auf moderne Plattformen wie MongoDB oder AWS S3. Aber wir wollten mehr als nur ein weiteres ETL-Tool. Die Idee bestand darin, es sehr flexibel und benutzerfreundlich zu machen und es Benutzern zu erm?glichen, Validierungsregeln und Transformationsregeln mit einer einfachen, deklarativen Syntax – einer Minisprache – zu definieren innerhalb des Tools.

Warum eine Mini-Sprache?

Wir haben festgestellt, dass die meisten Tools im Bereich der Datenpipeline auf starren Konfigurationen oder benutzerdefinierten Skripten basieren. Dieser Ansatz erfordert h?ufig umfangreiche Programmierkenntnisse, was die Zug?nglichkeit für Nicht-Entwickler einschr?nkt. Eine deklarative Minisprache bietet:

1. Einfachheit: Benutzer definieren Regeln in einem intuitiven, für Menschen lesbaren Format.
2. Flexibilit?t: Es deckt ein breites Spektrum an Anwendungsf?llen ab, von einfachen Validierungen bis hin zu komplexen Transformationen.
3. Skalierbarkeit: Die Minisprache kann sich weiterentwickeln, wenn neue Anforderungen entstehen.

Bei dieser Minisprache ging es nicht darum, das Rad neu zu erfinden – es ging darum, eine Abstraktion bereitzustellen, um Datentransformationen und -validierungen zu optimieren.

Wenn dies mit einer einfachen Yaml-Dateikonfiguration kombiniert wird, dachten wir, wir h?tten das Ziel erreicht, eine einfach zu konfigurierende Datenpipeline zu erstellen, die Daten von einer Quelle zur anderen in gro?em Ma?stab verarbeiten kann.

Der Kern: Validierungs- und Transformationssyntax

Wir haben die Syntax so gestaltet, dass sie einfach und dennoch ausdrucksstark ist und uns auf zwei Hauptoperationen konzentriert:

1. Validierungsregeln Diese stellen sicher, dass eingehende Daten vor der Weiterverarbeitung bestimmte Qualit?tsstandards erfüllen. Zum Beispiel:

   FIELD("age") TYPE(INT) RANGE(18, 65)
   FIELD("email") MATCHES(EMAIL_REGEX)
   FIELD("status") IN ("active", "inactive")

1. Transformationsregeln Diese erm?glichen eine Datenanreicherung oder -umstrukturierung. Zum Beispiel:

   RENAME("old_field", "new_field")
   MAP("status", {"0": "inactive", "1": "active"})
   ADD_FIELD("processed_at", CURRENT_TIME())
   IF FIELD("age") > 50 THEN ADD_FIELD("senior_discount", TRUE)

Diese Abstraktion erm?glichte es Benutzern, verschiedene Datens?tze mit minimalem Aufwand zu verarbeiten, was die Produktivit?t steigerte und die Komplexit?t reduzierte.

W?hrend wir gerade darüber nachdachten, wie man den Lexer und Parser dieser Sprache erstellt, nahm uns das Team von GoFr.dev mit nach oben zu einer stressabbauenden Sitzung, die voller n?chtlicher Sharayis und Jam-Sessions war!

Fraktale bauen beim Hackathon

Beim Hackathon ging es nicht nur um die Erstellung der Minisprache. Wir mussten auch die umliegende Infrastruktur aufbauen, um sicherzustellen, dass Fractal:

1. Erweiterbar: Unterstützt mehrere Eingabe-/Ausgabeformate wie JSON, CSV, SQL-Datenbanken und Nachrichtenwarteschlangen.
2. Konfigurierbar: YAML-basierte Konfiguration zur Definition von Pipeline-Workflows unter nahtloser Integration der Minisprache.
3. Robust: Behandeln Sie Fehler elegant mit Optionen wie LOG_AND_CONTINUE oder STOP.

Wir haben die Arbeit in vier Module unterteilt:

• Mini-Language-Implementierung: Entwerfen des Lexers und Parsers zur Interpretation der benutzerdefinierten Syntax.
• Datenintegrationen: Unterstützung für g?ngige Datenquellen und -ziele hinzugefügt.
• Pipeline Engine: Orchestrierung der Validierung, Transformation und Fehlerbehandlung.
• CLI-Schnittstelle: Bereitstellung einer einfachen Schnittstelle zum Definieren und Ausführen von Pipelines.

Herausforderungen, denen wir gegenüberstanden

1. Entwerfen der Syntax Es war eine Herausforderung, ein Gleichgewicht zwischen Einfachheit und Flexibilit?t zu finden. Wir haben mehrere Iterationen durchgeführt, um die Syntax zu finalisieren.
2. Erstellen des Parsers Die Implementierung eines benutzerdefinierten Lexers und Parsers in Golang war zeitaufw?ndig, aber lohnend.
3. Echtzeit-Feedback Für die Benutzerfreundlichkeit war es von entscheidender Bedeutung, sicherzustellen, dass die Minisprache aussagekr?ftige Fehlermeldungen zur Orientierung der Benutzer bereitstellt.
4. Zeitliche Einschr?nkungen Der Aufbau eines Tools dieser Gr??enordnung im Rahmen eines Hackathons erforderte pr?zise Planung und nahtlose Koordination.

Und was geschah danach?

Trotz unserer starken Leistung beim GO for GOFR-Hackathon standen wir bei der Abschlussbewertung vor einer entscheidenden Herausforderung. Die Jury verlangte zus?tzlich zu unserer aufgezeichneten Demo eine Live-Demonstration, und leider stie?en wir w?hrend des Live-Laufs auf einen unerwarteten Fehler in unserer Parser-Logik. Angesichts der Komplexit?t, einen robusten benutzerdefinierten Parser innerhalb von nur 24 Stunden zu erstellen, war die Entwicklung dieser Funktion eine ehrgeizige Aufgabe, und w?hrend unsere aufgezeichnete Demo seine Funktionalit?t demonstrierte, erwies es sich als schwierig, unter Zeitdruck eine 100-prozentige Genauigkeit zu erreichen. Dieser Schluckauf hat uns letztendlich den Hauptpreis gekostet. Unsere Bemühungen wurden jedoch weiterhin hoch gesch?tzt und die klare Vision und die überzeugende Leistung unseres Teams brachten uns die Auszeichnung ?Bester Pitch“ ein, was unser Potenzial und unseren Einfallsreichtum hervorhebt.

Also Hackathons, oder?

Bei Hackathons geht es oft darum, Grenzen zu überschreiten und Neuland zu erkunden. Fractal war unser Versuch, die Funktionsweise von Datenverarbeitungstools neu zu definieren – indem wir sie zug?nglich, modular und entwicklerfreundlich machten.

Ich h?tte mir keine gleichgesinntere Gruppe von Leuten wünschen k?nnen, die mit mir an dieser Aufgabe zusammenarbeiten würden, ohne den geringsten Zweifel die absolut besten und flei?igsten Teamkollegen. Ich freue mich darauf, was mich zu meinem n?chsten Hackathon führt, darf ich sagen: Ein RUST-basierter Hackathon? xD

Schauen Sie sich Fractal auf GitHub an

Pitch Deck: Drive Link

Oder probieren Sie es selbst aus und teilen Sie uns Ihre Meinung mit!

Das obige ist der detaillierte Inhalt vonWarum wir eine Mini-Sprache für einen Golang-Hackathon entwickelt haben. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!