Skip to main content

apache/datafusion-comet

Dernière activité source enregistrée
Catalogue SkillsMP mis à jour
skills collectés
12
Étoiles GitHub
1 303
Forks GitHub
402

Installer avec un assistant IA

Copiez ce prompt dans l’assistant IA que vous utilisez.

Chargement du README du dépôt…

Affichage de 12 skills collectés sur 12.

métier
non classé
description

Use when reviewing a DataFusion Comet pull request that touches memory pools, memory reservations, spilling, the Spark TaskMemoryManager bridge, allocators, or memory-related configuration. Load alongside review-comet-pr.

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when reviewing a DataFusion Comet pull request that touches Iceberg writes, the split-operator write plan (IcebergWriteStrategy, IcebergWriteExec, IcebergCommitExec), the native Iceberg writer (CometIcebergWriteExec, iceberg_write.rs,…

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when implementing a new Spark expression in DataFusion Comet. Walks through cloning latest Spark master to study the canonical implementation, checking the upstream datafusion-spark crate before writing native code, building the Comet serde and Rust…

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when reviewing a DataFusion Comet pull request that adds or changes a Spark expression, its Scala serde, its protobuf message, or its native Rust implementation. Load alongside review-comet-pr, which covers the parts of the review that apply to every PR.

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when reviewing a DataFusion Comet pull request. Covers the workflow that applies to every PR and routes to the area-specific review skills for expressions, FFI, memory management, shuffle, and Iceberg writes. Provides guidance to a human reviewer rather…

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when wiring an existing DataFusion or datafusion-spark function into Comet for a Spark expression. Identifies the right wiring pattern (one-line passthrough, datafusion-spark UDF registration, or custom serde with input massaging / restrictions), applies…

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when reviewing a DataFusion Comet pull request that crosses the JVM/native boundary, touching Arrow C Data or C Stream interface code, batch export and import, CometExecIterator, ScanExec, NativeUtil, CometVector subclasses, or jni_api. Load alongside…

Langue du texte source : anglais

mis à jour
métier
non classé
description

Use when reviewing a DataFusion Comet pull request that touches native or JVM columnar shuffle, the shuffle writers and readers, partitioning, the Arrow IPC block format, shuffle compression, or the Celeborn integration. Load alongside review-comet-pr.

Langue du texte source : anglais

mis à jour
métier
Analystes en assurance qualité des logiciels et testeurs
description

Audit an existing Comet expression for correctness and test coverage. Studies the Spark implementation across versions 3.4.3, 3.5.8, 4.0.1, and 4.1.1, reviews the Comet and DataFusion implementations, identifies missing test coverage, and offers to implement…

Langue du texte source : anglais

mis à jour
métier
Spécialistes en gestion de projets
description

Triage open Comet issues marked `requires-triage` per the project bug triage guide. Classifies each issue as a bug or an enhancement, applies the recommended type (`bug`/`enhancement`), priority, and area labels, removes `requires-triage`, and files a dated…

Langue du texte source : anglais

mis à jour
métier
Développeurs de logiciels
description

Use when optimizing the performance of an existing native scalar expression in the datafusion-comet-spark-expr crate (native/spark-expr/) — casts, string/JSON/array/math kernels that run per-row or per-batch. Covers benchmarking, keeping output bit-identical,…

Langue du texte source : anglais

mis à jour
métier
Analystes des systèmes informatiques
description

Use when picking the next Spark expression to implement natively in Comet, or when asked whether a specific codegen-dispatched expression is worth a native Rust implementation. Scores the candidate on how likely a native path can be 100% Spark-compatible and…

Langue du texte source : anglais

mis à jour
Affichage de 12 skills collectés sur 12.