Provkonstruktion

Årskurs: Gymnasiet

Ämne eller kurs: Artificiell Intelligens 2

Tema: Modellvalidering och -optimering

Syfte

Syftet med provet är att utvärdera elevernas förståelse för koncepten kring modellvalidering och optimering inom maskininlärning, samt deras förmåga att applicera dessa och analysera resultaten.

Koppling till styrdokument

Centralt innehåll

Denna del av kursen fokuserar på validering och optimering av maskininlärningsmodeller. Eleverna kommer att lära sig tekniker för att utvärdera modeller, förstå överanpassning, samt metoder för att förbättra modellens prestanda.

Kunskapskrav

Eleven ska kunna analysera och utvärdera prestandan hos en maskininlärningsmodell samt föreslå och implementera metoder för att optimera denna.

Prov

Faktafrågor

1. Vad innebär modellvalidering?
   A) Att utvärdera en models prestanda för att säkerställa att den generaliserar väl på ny data.
   B) Att öka träningsdata för en modell.
   C) Att skapa fler funktioner för en modell.
   D) Att öka modellens komplexitet.
2. Vad är överanpassning?
   A) När en modell presterar bra på träningsdata men dåligt på testdata.
   B) När en modell är för enkel för datan.
   C) När en modell inte kan lära sig från data.
   D) När datan är för liten.
3. Vad är en konfusionsmatris?
   A) Ett verktyg för att visa verkliga vs förutsagda klassificeringar av en modell.
   B) Ett medel för att optimera hyperparametrar.
   C) En typ av datavisualisering.
   D) En metod för att dela upp dataset.
4. Nämn ett sätt att optimera en maskininlärningsmodell.
   A) Hyperparameter-tuning.
   B) Öka datamängden.
   C) Flera neurala lager.
   D) Användning av en annan algoritm.
5. Vad är syftet med regularisering?
   A) Att förhindra överanpassning genom att påföra en straff på stora vikter i modellen.
   B) Att öka modellens komplexitet.
   C) Att minska träningsdata.
   D) Att öka träningsdata.
6. Vilket prestandamått används för att mäta balansen mellan precision och återkallning?
   A) F1-score.
   B) Noggrannhet.
   C) Förlust.
   D) AUC.
7. Vilken av följande metoder används för att förhindra överanpassning?
   A) Stoppning av träning.
   B) Fler träningsdata.
   C) Mindre nätverk.
   D) Regularisering.
8. Vad gör en tränings-/testuppdelning?
   A) Dela data i två delar: en för träning och en för test.
   B) Träna på hela datamängden.
   C) Dela upp datan i olika klasser.
   D) Använda hela datasetet för testning.
9. Vad är en hyperparameter?
   A) En parameter som bestäms innan träning.
   B) En parameter som justeras under träning.
   C) En parameter för indata.
   D) En konstant i modellen.
10. Vilket mått visar hur många av de positiva observationerna som korrekt identifierades?
    A) Återkallning.
    B) Precision.
    C) Noggrannhet.
    D) F1-score.
11. Vilket av följande är ett exempel på korsvalidering?
    A) K-fold cross-validation.
    B) Train/test-split.
    C) Bootstrapping.
    D) Grid search.
12. Vilket av följande påståenden gäller för F1-score?
    A) Det balanserar precision och återkallning.
    B) Det är bara baserat på precision.
    C) Det kan aldrig vara lägre än återkallning.
    D) Det är samma som noggrannhet.
13. Vilken teknik används för att förbättra precisionen i en klassificering?
    A) Regularisering.
    B) Öka träningen.
    C) Fler data.
    D) Optimera hyperparametrar.
14. Vilket verktyg används för att visualisera modellens prestanda?
    A) Konfusionsmatris.
    B) Boxplot.
    C) Linjediagram.
    D) Histogram.
15. Vad är ett syfte med hyperparameter-tuning?
    A) Att förbättra modellens prestanda genom att justera dess parametrar.
    B) Att göra en model mer komplex.
    C) Att öka överanpassning.
    D) Att minska datamängden.
16. Vad är målet med en prestandautvärdering?
    A) Att säkerställa att modellen generaliserar väl på ny data.
    B) Att öka träningsdata.
    C) Att justera modellen för bättre resultat.
    D) Ingen av ovanstående.

Resonerande frågor

1. Diskutera betydelsen av att använda korsvalidering.
   Syftet är att visa förståelse för hur korsvalidering påverkar modellens utvärdering och generalisering.
2. Analysera riskerna med överanpassning och ge exempel.
   Syftet är att ge insikter i konsekvenserna av överanpassning och hur det kan påverka modellens prestanda.
3. Beskriv hur du skulle implementera hyperparameter-tuning i en verklig situation.
   Syftet är att visa förmåga att tillämpa teorin praktiskt och ju mer detaljerat rekommendationerna är, desto högre betyg.
4. Jämför precision och återkallning.
   Syftet är att visa djupare förståelse för dessa mått och när de är mest relevanta.
5. Redogör för hur datadimension och kvalitet kan påverka modellens prestanda.
   Syftet är att lyfta fram vikten av datakvalitet och mängd.
6. Diskutera fördelarna och nackdelarna med att använda olika optimeringstekniker.
   Syftet är att engagera sig i djupanalys av olika metoder för optimering.
7. Hur skulle du förklara kraften i en konfusionsmatris till en nybörjare?
   Syftet är att mäta elevens förmåga att kommunicera och förklara komplexa koncept på ett enkelt sätt.
8. Reflektera över hur val av algoritm påverkar resultatet av en modell.
   Syftet är att visa insikt i hur olika algoritmer kan ge olika resultat och betona vikten av att välja rätt algoritm för en given uppgift.

Bedömning

Provets faktafrågor ger totalt 15 poäng, där varje korrekt svar ger 1 poäng. De resonerande frågorna ger 3 poäng vardera, vilket gör att deras totala poängsumma kan bli upp till 24 poäng.

För betyget E krävs totalt 8 poäng, för betygsnivå C krävs 12 poäng (varav minst 3 poäng från resonerande frågor) och för A krävs 18 poäng (varav minst 5 poäng från resonerande frågor).