Validering av krav, säkerhet och funktion, både AI-baserat och deterministiskt
Testarbetet visar att lösningen gör det den ska. De deterministiska testerna utgör grunden, alltså enhetstester, integrationstester, kontraktstester mot omgivande system, prestandatester under last och regressionstester som körs vid varje ändring. När AI är en del av lösningen tillkommer utvärderingar, evals, eftersom samma fråga kan besvaras på flera riktiga sätt. Där mäts träffsäkerhet mot facit, kvalitet i svaren, robusthet mot ovanliga och illasinnade inmatningar, samt kostnad och svarstid. Allt körs automatiskt i pipelinen, vilket gör att en försämring syns direkt och kan åtgärdas medan ändringen är färsk.
Vi arbetar med båda delarna i samma flöde. Våra utvecklare bygger testsviter tillsammans med koden och sätter upp evalsramverk med testmängder som växer i takt med att verkligheten visar nya fall. Vi använder AI för att generera testfall och hitta gränsfall i en omfattning som ger bred täckning snabbt, och våra testare bedömer och kompletterar utifrån verksamhetens krav. Att kvaliteten är mätbar över tid gör att ni ser effekten av varje förändring i siffror. Ni får en lösning som är verifierad mot krav, säkerhet och funktion, med utvärderingar som fortsätter ge trygghet genom hela förvaltningen.