Data Ops Engineer

Responsabilitati:

• Implementarea si optimizarea pipeline-urilor de date in medii big data si real-time analytics;

• Integrarea AI generativ in DataOps, pentru a automatiza generarea de cod SQL, documentatie tehnica, testare automata si optimizarea performantei pipeline-urilor de date;

• Dezvoltarea si intretinerea platformei AI, asigurand integrarea big data, data pipelines, model pipelines, AI governance si data governance;

• Automatizarea gestionarii metadatelor si a catalogarii datelor cu ajutorul AI generativ si Open metadata;

• Monitorizarea si rezolvarea problemelor pe pipeline urile de date, oferind suport echipelor de Machine Learning Engineering pentru imbunatatirea workflow-urilor Airflow;

• Implementarea si gestionarea infrastructurii de big data folosind tehnologii precum Hadoop, Doris, Open Metadata, Kafka si Spark;

• Dezvoltarea si gestionarea fluxurilor CI/CD pentru modelele AI si pipeline-urile de date, utilizand MLflow si AI generativ pentru automatizarea documentatiei si testarii codului;

• Optimizarea procesului de livrare a modelelor AI prin integrarea cu GenAI pentru generarea automata a specificatiilor tehnice si verificarea calitatii codului;

• Colaborarea cu echipele IT, DevOps si AI Engineering pentru a asigura integrarea modelelor si a infrastructurii DataOps in arhitectura IT generala;

• Implementarea strategiilor de data & AI governance pentru a imbunatati transparenta, calitatea si guvernanta modelelor AI.

• Cunostinte/Competente necesare:

• Programare: Python, SQL, Spark si Bash scripting (Linux);

• Orchestrare pipeline-uri: Apache Airflow;

• Big Data & Storage: Hadoop, Doris, PostgreSQL

Cunostinte / Competente necesare :

• Real-Time Processing: Kafka, Spark Streaming;

• Cloud & AI Platform: AWS, Databricks;

• Data & AI Governance: Open Metadata, Mlflow;

• DevOps & CI/CD pentru DataOps: Git, Docker, Kubernetes

• Experienteanterioarecheie/critice necesarepentruindeplinireajobului:

• Experienta in implementarea pipeline-urilor de date in medii big data, real-time analytics si cloud;

• Cunostinte avansate despre strategiile DataOps, inclusiv CI/CD si AI governance;

• Experienta cu tehnologii big data si real-time analytics: Hadoop, Doris, Kafka, Spark, AWS, Databricks;

• Experienta in gestionarea si monitorizarea modelelor AI cu MLflow si Open Metadata;

• Experienta in utilizarea bazelor de date relationale si NoSQL (PostgreSQL, etc);

• Experienta in optimizarea workflow-urilor Apache Airflow si implementarea CI/CD pentru pipeline-uri AI.

Studii si certificari necesare:

• Studii superioare profil tehnic (automatica & calculatoare, electronica,informatica, matematica, fizica), economice , cibernetica)

Git, Docker, Hadoop

Apache Airflow

Colaborare, Responsibilitate, Invatare, Proactivitate, Diversitate

Tichete de masa, Al 13-lea salariu, Munca de acasa, Pensie privata, Asigurare de sanatate, Zile de concediu suplimentare (mai mult de 21 de zile), Program de lucru flexibil, Well-being programs, Teambuilding, Programe de formare, Bonus anual de performanta