Jaké jsou hlavní povinnosti a úkoly spojené s touto funkcí?
- Implementace datového inženýrství, které zahrnuje různé zdroje dat, jako jsou databáze
, rozhraní API a soubory JSON/XML/CSV, s využitím rámce MSD.
- Zajištění efektivity, škálovatelnosti a spolehlivosti datového inženýrství.
- Psaní kódu a skriptů pro automatizaci procesů extrakce a transformace dat (je-li to
potřeba).
- Sledování a optimalizace výkonu datového inženýrství.
- Dokumentace struktury, pracovních postupů a konfigurací datového inženýrství.
Kvalifikace: Jaké vzdělání, zkušenosti a dovednosti jsou požadovány nebo
preferovány?
Požadujeme:
- Středně pokročilou znalost jazyků Python, YAML, SQL a postupů CI/CD (Continuous Integration /
Continuous Deployment).
- Znalost systémů pro správu verzí (Git).
- Znalost konceptů a technik datového inženýrství.
- Znalost práce s různými datovými formáty (JSON, XML a CSV).
- Znalost angličtiny slovem i písmem (úroveň C1).
Upřednostňované/žádoucí:
- Znalost Apache Airflow, technologií AWS - AWS Glue, S3.
- Zkušenosti s vytvářením a údržbou datových potrubí.
- Porozumění konceptům zpracování a ukládání dat v cloudu.
- Zkušenosti s agilními metodikami vývoje.
- Zkušenosti s virtualizací a koncepty ingestu v reálném čase / téměř v reálném čase.
Očekávání: Existují konkrétní cíle nebo úkoly, kterých by měl kandidát
dosáhnout?
- Od kandidáta se očekává, že bude dodržovat všechny platné zásady a postupy společnosti
, dodržovat zásady správné dokumentace a řídit se doporučeními vedoucích týmů
.
- Spolupracovat s týmy napříč obory s cílem shromáždit požadavky a pochopit potřeby integrace dat
.
- Spolupracovat s týmy napříč obory. Psát čistý a udržovatelný kód a konfiguraci pro zpracování dat a automatizaci
.
- Prokazovat silné dovednosti v oblasti řešení problémů a schopnost řešit a vyřešit
problémy.
- Sledovat nejnovější trendy a pokroky v oblasti datového inženýrství.
- Samostatně pracovat na pipelinech datového inženýrství.
- Neustále zlepšovat a optimalizovat procesy datového inženýrství.
- Efektivně komunikovat se členy týmu a zúčastněnými stranami ohledně postupu
pipeline a případných překážek.
Dynamika týmu: Jak tato pozice zapadá do současné struktury týmu?
- Kandidát bude součástí týmu Data Enablement, přímo podřízený vedoucímu technického
týmu a vlastníkovi produktu.
- Kandidát bude spolupracovat s týmem DE Testing a příležitostně může podporovat
rozšířené týmy, produkty a hodnotové toky ekosystému Mantis.
- Nutností je proaktivita při řešení zadaných úkolů, řešení problémů a aktivní komunikace v rámci týmu i mimo něj
.