Senior Databricks Developer

Scurta descriere a companiei

Euro-Testing Software Solutions is involved in software consulting, having experience of approx. 20 years on the market in Romania and abroad, through specific IT solutions and services offered in the following areas:

• Software Testing (manual testing, testing automation, performance testing, outsourcing, training and certification, etc.)

• Cyber ​​Security

• DevOps/DevSecOps

• Implementation and Customization of Atlassian & OpenText products (MicroFocus) and other niche products/solutions

• AI based Decision Intelligence solutions.

Cerinte

Experienta si competente necesare
• Minimum 5 ani experienta in dezvoltare Data Warehouse, Big Data sau platforme de date enterprise.
• Minimum 2-3 ani experienta practica in Databricks.
• Experienta demonstrata in proiecte complexe de Data Warehouse, Data Mart sau Data Lake.
• Experienta in dezvoltarea de pipeline-uri de date end-to-end.
• Cunostinte solide privind arhitectura Data Lakehouse.
• Experienta in implementarea proceselor de historizare, CDC, reconciliere si Data Quality.
• Capacitatea de a prelua ownership complet asupra livrarilor tehnice si de a oferi leadership tehnic echipei.

Competente tehnice obligatorii
• Azure Databricks/PySpark
• SQL avansat
• Delta Lake
• Git & Jira
• Data Modelling
• ETL / ELT
• Data Quality Frameworks
• Pipeline Orchestration

Competente tehnice care reprezinta avantaj
• Azure Data Factory
• Kafka
• Event Streaming
• Python avansat
• CI/CD
• Unity Catalog
• Data Governance
• Machine Learning pe Databricks
• Qlik Sense

Competente personale
• Gandire analitica si orientare spre rezolvarea problemelor.
• Atentie la detalii si focus pe calitatea datelor.
• Capacitate de lucru autonom.
• Spirit de colaborare si mentoring.
• Comunicare eficienta cu echipe tehnice si de business.
• Orientare catre rezultate si asumarea responsabilitatii.

Experienta in domeniul bancar (avantaj major)
• Cunostinte despre produse si procese Retail Banking.
• Experienta cu raportare financiara si management reporting.
• Cunostinte despre procese de risc, compliance si raportari de reglementare.
• Intelegerea fluxurilor de date bancare si a ecosistemelor analitice enterprise.

Responsabilitati

Dezvoltare si integrare date
• Dezvolta si mentine procese de ingestie, transformare si publicare a datelor utilizand Databricks si PySpark.
• Construieste si optimizeaza pipeline-uri ETL/ELT pentru volume mari de date.
• Implementeaza structuri Delta Lake si modele de date pentru consum operational si analitic.
• Dezvolta mecanisme de incrementare, historizare si CDC (Change Data Capture).
• Realizeaza integrarea datelor din surse multiple (Oracle, SQL Server, API-uri, fisiere, aplicatii bancare etc.).

Arhitectura si modelare date
• Participa la definirea arhitecturii Data Lakehouse.
• Propune modele de date scalabile si performante.
• Contribuie la dezvoltarea standardelor de dezvoltare si a arhitecturii platformei.
• Asigura trasabilitatea si consistenta datelor pe intregul flux de procesare.

Data Quality si operare
• Implementeaza controale automate de Data Quality.
• Dezvolta procese de reconciliere si validare a datelor.
• Configureaza monitorizarea, alertarea si logarea proceselor.
• Analizeaza si remediaza incidentele de productie.
• Gestioneaza reload-uri, rerulari, corectii si recuperari de date.

Optimizare si performanta
• Optimizeaza procesele PySpark si SQL pentru cost si performanta.
• Identifica si elimina blocaje de procesare.
• Optimizeaza consumul resurselor Databricks.
• Contribuie la automatizarea proceselor de dezvoltare si deployment.

Alte informatii

Senior Databricks Developer este responsabil pentru proiectarea, dezvoltarea, optimizarea si operarea solutiilor de date pe platforma Databricks. Rolul contribuie la implementarea si evolutia Data Lakehouse-ului organizational, dezvoltand procese de ingestie, transformare, procesare si livrare date pentru raportare, analize avansate si initiative AI/ML.
Persoana va avea responsabilitati end-to-end asupra fluxurilor de date si va actiona ca referinta tehnica in cadrul echipei.