Hur mäter vi vår machine learning modells prestanda?
Kan vi lita på den?
Dessa frågor måste vi ställa oss hela tiden i vårt arbete med att utveckla vår modell, säger Paula Widén, tekniskt ansvarig på Measure & Change. Här berättar hon hur vi jobbar med frågorna och säkerställer ett bra resultat.
– När vi arbetar med att klassificera inköp för att kunna sätta rätt emissionsfaktor, har vi över 10 000 möjliga kategorier. Det innebär att precision är viktigare än någonsin, för att emissionsfaktorn ska blir rätt. I vår lösning har vi därför valt en strategi där kvalitet går före kvantitet.
Vi prioriterar en hög tillförlitlighet hos modellen, det innebär att vi också accepterar att vissa rader lämnas oklassificerade – och får hanteras av en människa. Hellre det, än att vi automatiskt placerar något fel och skapar följdeffekter längre fram.
Nyckeln för oss är modellens confidence score. Det är den som avgör när vi litar på modellens förslag och när vi väljer att låta en människa ta över. Med andra ord: vi låter modellen själv tala om hur säker den är – och kalibrerar vid vilken nivå vi väljer att lita på den.
Det här arbetssättet skapar ett pålitligt resultat som faktiskt hjälper oss i vårt arbete eftersom resultatet oftast inte behöver någon handpåläggning i efterhand.
Det är ett bra exempel på att AI inte alltid handlar om att automatisera allt, utan att få kontroll på och kontinuerligt mäta kvaliteten. Samt en påminnelse om att vi behöver acceptera att Ai oftast inte är magisk lösning utan något som behöver kontinuerlig utveckling och tweakning.