Software Developer Professional Retail Date

I. 🎯 Scopul Postului
Dezvoltarea, implementarea și optimizarea soluțiilor complexe de Data Warehouse (DWH) și Data Lakehouse folosind platforma Databricks (inclusiv Delta Lake, Unity Catalog și Spark) pentru a asigura o fundație de date scalabilă, performantă și guvernată pentru analiză, raportare și Machine Learning.

II. 📝 Responsabilități Principale

• Dezvoltare și Arhitectură Databricks
• Proiectare și Implementare Avansată: Proiectarea și implementarea de pipeline-uri de date ETL/ELT robuste, scalabile și de înaltă performanță utilizând PySpark/Scala și Databricks SQL pe platforma Databricks.
• Delta Lake: Expertiză în implementarea și optimizarea arhitecturii Medallion (Bronze, Silver, Gold) folosind Delta Lake pentru a asigura calitatea, coerența și istoricitatea datelor.
• Lakehouse Platform: Implementarea eficientă a arhitecturii Lakehouse pe Databricks, combinând cele mai bune practici din DWH și Data Lake.
• Optimizarea Performanței: Optimizarea clusterelor Databricks, a operațiunilor Spark și a tabelelor Delta (ex: Z-ordering, Compaction, Tuning Queries) pentru a reduce latența și costurile de calcul.
• Streamare: Proiectarea și implementarea de soluții de procesare a datelor în timp real/cvasireal (streaming) folosind Spark Structured Streaming și Delta Live Tables (DLT).
• Guvernanță și Securitate
• Unity Catalog: Implementarea și administrarea Unity Catalog pentru guvernanța centralizată a datelor, securitate fină (row/column-level security) și lineage de date.
• Calitatea Datelor (Data Quality): Definirea și implementarea standardelor și a regulilor de calitate a datelor (ex: folosind DLT sau Great Expectations) pentru a menține integritatea datelor.
• Operațiuni și Colaborare
• Orchestrare: Dezvoltarea și gestionarea fluxurilor de lucru (workflows) complexe folosind Databricks Workflows (Jobs) sau instrumente externe (ex: Azure Data Factory, Airflow) pentru automatizarea pipeline-urilor.
• DevOps/CI/CD: Integrarea pipeline-urilor Databricks în procese de CI/CD folosind instrumente precum Git, Databricks Repos și Bundles.
• Colaborare: Lucrul îndeaproape cu Data Scientists, Analisti și Arhitecți pentru a înțelege cerințele de business și pentru a oferi soluții tehnice optime.
• Mentorat: Oferirea de îndrumare tehnică (mentorship) dezvoltatorilor juniori și promovarea celor mai bune practici.

• Cunoștințe Obligatorii (Nivel Expert)
• Databricks Platform: Experiență demonstrată, de nivel expert, cu întregul ecosistem Databricks (Workspace, Cluster Management, Notebooks, Databricks SQL).
• Apache Spark: Cunoștințe aprofundate ale arhitecturii Spark (RDD, DataFrames, Spark SQL) și a tehnicilor avansate de optimizare.
• Delta Lake: Expertiză în implementarea și administrarea Delta Lake (ACID properties, Time Travel, Merge, Optimize, Vacuum).
• Limbaje de Programare: Python (cu PySpark) și/sau Scala (cu Spark) la nivel avansat/expert.
• SQL: Competențe avansate/expert în SQL și Data Modeling (Dimensional, 3NF, Data Vault).
• Cloud: Experiență solidă cu o platformă Cloud majoră (AWS, Azure sau GCP), în special cu serviciile de stocare (S3, ADLS Gen2, GCS) și rețelistică.
• Cunoștințe Suplimentare (Avantaj Major)
• Unity Catalog: Experiență practică cu implementarea și administrarea Unity Catalog.
• Lakeflow: Experiență cu Delta Live Tables (DLT) și Databricks Workflows.
• Noțiuni de ML/AI: Înțelegerea conceptelor de bază MLOps și experiență cu MLflow pentru a facilita integrarea cu echipele de Data Science.
• DevOps: Experiență cu Terraform sau echivalent pentru Infrastructure as Code (IaC).
• Certificări: Certificările Databricks (ex: Databricks Certified Data Engineer Professional) reprezintă un avantaj semnificativ.

• Educație: Licență în Informatică, Inginerie, Matematică sau un domeniu tehnic relevant.
• Experiență Profesională: Minimum 5+ ani de experiență în Data Engineering, dintre care cel puțin 3+ ani cu Databricks și Spark la scară largă.

Beneficii

• Bonus de performanta
• Al 13-lea salariu
• Prime ocazii speciale (ex: Paste, Craciun, 8 mar etc)
• Abonament medical
• Asigurare de viata
• Pensie privata
• Training-uri
• Cursuri
• Zile libere suplimentare
• Program de lucru flexibil
• Teambuilding-uri / excursii
• Petreceri/evenimente companie
• Laptop
• Telefon mobil
• Loc de parcare
• Fun / Relax Area
• Tichete de masa
• Tichete culturale