Databricks Data Engineer

We are hiring a Databricks Data Engineer to design, build, and operate scalable data pipelines and curated data products on Databricks. 

You will work across ingestion, transformation, governance, and delivery layers—using SQL, Python, and PySpark - while applying strong data warehousing principles (Kimball).

This role requires hands-on experience with Databricks platform capabilities, including Unity Catalog and Lakeflow Declarative Pipelines, and a disciplined approach to quality using validation/expectations. 

Key Responsibilities 

• Build and maintain production-grade data pipelines in Databricks using SQL, Python, and PySpark. 

• Implement ELT/ETL patterns for batch and (where relevant) streaming data processing. 

• Develop and maintain Lakehouse data models and curated datasets aligned with DWH best practices (Kimball/Inmon/Data Vault). 

• Use Databricks-native capabilities to implement robust, maintainable pipelines (e.g., Lakeflow Declarative Pipelines). 

• Implement data quality checks (e.g., Expectations) and monitoring to ensure reliability and trust in data products. 

• Configure and manage governance and access controls using Unity Catalog, including catalogs/schemas, permissions, and lineage-friendly practices. 

• Optimize performance and cost (cluster sizing, partitioning, file sizes, caching, query optimization). 

• Collaborate with analytics, data science, and engineering stakeholders to translate requirements into well-defined data contracts and deliverables. 

• Create and maintain technical documentation for pipelines, models, and operational runbooks. 

• Support operational excellence: incident response, root-cause analysis, and continuous improvement of data platform reliability. 

Required Qualifications 

• Proven, hands-on Databricks experience in production environments. 

• Strong working knowledge of SQL, Python, and PySpark for data engineering workloads. 

• Practical experience with Databricks-specific technologies such as: 

• Lakeflow Declarative Pipelines (DLT) 

• Expectations / data quality validation patterns 

• Unity Catalog (governance, access control, catalog/schema management) 

• Other Databricks platform components relevant to pipeline development and operations 

• Solid experience with data warehousing design and modeling methodologies (Kimball, Inmon, or Data Vault). 

• Understanding of data engineering fundamentals: orchestration patterns, incremental processing, SCDs, metadata management, and observability. 

Nice-to-Have Qualifications 

• Experience with Microsoft SQL Server and T-SQL. 

• Experience working in Azure (e.g., ADLS, Azure networking/security concepts, identity/auth). 

• Proficiency with Git-based workflows (branching, code reviews) and CI/CD for data pipelines. 

Working Style and Collaboration 

• Ownership mindset: you build it, you run it. 

• Pragmatic engineering: focus on reliability, clarity, and maintainability over “clever.” 

• Strong communication: ability to align stakeholders on definitions, assumptions, and trade-offs.