Data Engineer – Data Quality / AI Evaluation

Bygg kvalitet i data och AI – och bevisa den med automation

På Regent arbetar vi med hela spektrumet inom modern mjukvaruutveckling. Inom Test, Testledning & Quality Assurance hjälper vi våra kunder att bygga in kvalitet genom hela utvecklings- och leveransflödet.

Nu söker vi en Data Engineer med fokus på Data Quality och AI Evaluation som vill arbeta i skärningspunkten mellan data, AI, testautomation och Quality Engineering.

Vi söker dig som inte nöjer dig med att en datapipeline kör klart eller att en AI-tjänst producerar ett svar. Du vill kunna avgöra om resultatet faktiskt är korrekt – och automatisera sättet vi tar reda på det.

I rollen kombinerar du Data Engineering med modern Quality Engineering och hjälper organisationer att bygga data- och AI-lösningar där kvalitet kan mätas, testas och följas upp kontinuerligt.

Vad du kommer att göra

Som konsult hos oss arbetar du med moderna data- och AI-lösningar där kvalitet behöver säkerställas genom hela flödet – från rådata och transformationer till ML-modeller och generativ AI.

Ditt ansvar kan bland annat innebära att:

• Bygga automatiserade tester och validering för data pipelines
• Implementera data quality checks direkt i dataflöden och CI/CD
• Etablera och validera data contracts
• Bygga regressionstester för datatransformationer
• Arbeta med testdata och test data management
• Identifiera och automatisera kontroller för exempelvis schemaförändringar, datakvalitet och oväntade förändringar i data
• Bygga evaluation frameworks för AI- och LLM-baserade lösningar
• Skapa och underhålla golden datasets och evaluation datasets
• Implementera LLM-as-a-judge och andra automatiserade evalueringsmetoder
• Bygga regressionstester för prompts, RAG-lösningar, modeller och AI-agenter
• Integrera automatiserade quality gates i CI/CD
• Mäta och följa upp kvalitet när AI-lösningar förändras över tid

Du arbetar ofta tillsammans med Data Engineers, Data Scientists, AI Engineers, utvecklare och QA-specialister för att göra kvalitet till en naturlig del av data- och AI-utvecklingen.

Typisk teknikstack

Beroende på uppdrag kan du exempelvis arbeta med:

• Python / SQL
• dbt och dbt tests
• Great Expectations / Soda
• pytest
• Dataplattformar som Databricks / Snowflake
• GitHub Actions / GitLab CI / Azure DevOps
• Cloud-plattformar som Azure / AWS / GCP

Inom AI Evaluation kan verktyg och ramverk exempelvis vara:

• Ragas
• DeepEval
• promptfoo
• LangSmith / Langfuse
• Andra ramverk för LLM evaluation, tracing och observability

Du behöver inte ha erfarenhet av alla dessa tekniker. Vi är mer intresserade av att du förstår hur kvalitet kan göras mätbar och automatiserad än vilket specifikt verktyg du har använt.

Vi tror att du har

Din bakgrund kan se ut på olika sätt.

Du kanske är en Data Engineer eller ML Engineer som har börjat fokusera allt mer på validation, testing och evaluation.

Eller så kommer du från testautomation och Quality Engineering och har tagit steget mot data, Machine Learning och generativ AI.

Vi tror att du:

• Har en stark teknisk bakgrund inom Data Engineering, testautomation, ML/AI eller mjukvaruutveckling
• Har erfarenhet av Python och SQL
• Har arbetat med automatiserad testning eller validering
• Förstår moderna data pipelines och datatransformationer
• Har erfarenhet av CI/CD och automatiserade leveransflöden
• Tycker om att analysera komplexa kvalitetsproblem och hitta sätt att mäta dem
• Vill arbeta i gränslandet mellan data, AI och Quality Engineering

Erfarenhet av Data Quality, AI Evaluation, LLM Evaluation, RAG Evaluation, LLM-as-a-judge eller testning av generativ AI är särskilt intressant.

När ett exakt förväntat resultat inte längre finns

Traditionell testautomation bygger ofta på en enkel princip: vi vet vilket resultat vi förväntar oss och kan kontrollera om systemet levererar det.

Data- och AI-system gör den frågan betydligt mer intressant.

Hur vet vi att en datatransformation fortfarande är korrekt när källsystemen förändras?

Hur regressionstestar vi en LLM när samma fråga kan ha flera korrekta svar?

Hur avgör vi om ett RAG-system faktiskt använder rätt information?

Och hur sätter vi en quality gate i CI/CD för en AI-tjänst?

Det är den typen av problem vi vill att du ska hjälpa våra kunder att lösa.

Varför Regent?

Hos Regent blir du en del av ett bolag med stark kompetens inom modern mjukvaruutveckling.

Rollen har en naturlig koppling till vårt område Test, Testledning & Quality Assurance, där vi arbetar med allt från testautomation och teknisk testarkitektur till kvalitet i komplexa system och leveransflöden.

Samtidigt finns en tydlig koppling till Cloud, Infrastruktur & DevOps, eftersom modern Data Quality och AI Evaluation behöver integreras med CI/CD, cloud-plattformar, observability och automatiserade produktionsflöden.

Du får möjlighet att:

• Arbeta med moderna data-, ML- och generativa AI-lösningar
• Kombinera Data Engineering med testautomation och Quality Engineering
• Utforska och implementera nya metoder för AI Evaluation och LLM testing
• Påverka hur våra kunder bygger kvalitet i sina data- och AI-plattformar
• Utbyta erfarenheter med seniora specialister inom QA, automation, DevOps, cloud och mjukvaruutveckling
• Vara med och utveckla vår kompetens och våra erbjudanden inom Data Quality, AI Evaluation och Quality Engineering för AI

Intresserad?

Om du gillar att kombinera data, AI och automation och tycker att frågan “hur vet vi att det faktiskt fungerar?” är minst lika intressant som att bygga själva lösningen, vill vi gärna prata med dig.

Hör av dig så tar vi ett förutsättningslöst samtal.