Seksjon for språkmodeller

Nasjonalbiblioteket i Norge utlyser nå to faste stillinger som AI-utviklere, med kontorsted i Oslo.

Vi søker kandidater med minst en mastergrad i kunstig intelligens eller naturlig språkbehandling, som ønsker å bidra til utvikling, evaluering og kvalitetssikring av språkmodeller og relaterte AI-systemer for norske og samiske språk. Stillingene har ulike spesialistprofiler, men begge er en del av det samme profesjonelle miljøet og vil jobbe tett med evaluering, modellutvikling, datasett, reproduserbare eksperimenter og drift av evaluerings- og opplæringsløp på nasjonal og europeisk HPC-infrastruktur.

Kandidatene vi ser etter har har erfaring med evaluering av agentbaserte og multimodale systemer, inkludert bruk av relevante rammeverk og verktøy, samt praktisk arbeid med oppgaver innen bilde, tekst og tale, som bildeteksting, dokumentuttrekk og transkripsjon. Det er ønskelig med god kjennskap til inferens- og serveringsrammeverk som vLLM, llama.cpp eller tilsvarende, samt erfaring med agentrammeverk, kodeagenter eller lignende løsninger. Videre er det en fordel med kunnskap om CI/CD, GitHub Actions og moderne metoder for modelltilpasning, som LoRA og modellsammenslåing, i tillegg til erfaring med ettertrening og forsterkningslæring, som DPO og RLAIF. Bidrag til åpen kildekode vil også bli vektlagt.

Kvalifikasjoner:

Vi ser etter kandidater med utdanning tilsvarende minst en mastergrad i informatikk, språkteknologi, maskinlæring, kunstig intelligens, datavitenskap eller et beslektet fagområde. Særlig relevant arbeidserfaring kan i noen grad kompensere for utdanningskravet, forutsatt at kompetansen er godt dokumentert.

• Svært gode ferdigheter i Python, samt god erfaring med Git/GitHub, Linux, Bash og SSH
• Solid forståelse av transformatorarkitekturer, representasjonslæring, store språkmodeller (LLM-er), dekoder- og enkodermodeller, embeddingmodeller, samt relevante matematiske og statistiske metoder
• Erfaring med Hugging Face-økosystemet, inkludert arbeid med datasett, modellkort, reproduserbare eksperimenter og dokumentasjon av evalueringsresultater
• Erfaring med Docker og Apptainer/Singularity
• Erfaring med Slurm og andre orkestreringsverktøy for arbeidsflyter, samt praktisk arbeid på HPC-plattformer. Erfaring fra Olivia (Norge), LUMI (Finland) og EuroHPC-nettverket er en fordel
• Relevant erfaring fra lignende arbeid er et krav og må dokumenteres

Spesifikke krav – stilling 1: LLM-er, evaluering og topplister
For denne stillingen kreves dokumentert erfaring med evaluering av LLM-er og/eller agentbaserte systemer. Kandidaten må kunne arbeide selvstendig med valg, implementering og tolkning av måleparametere og evalueringsoppsett.

• God kunnskap om evalueringsmetoder for LLM-er, inkludert hvilke måleparametere som benyttes, hvordan de implementeres, deres styrker og svakheter, alternative metoder og når de bør brukes
• Erfaring med evalueringsrammeverk og benchmarks for norsk, særlig NorEval og lm-eval-harness for dekodermodeller, inkludert instruksjonsjusterte modeller og resonnementsmodeller
• Erfaring med etablering, vedlikehold og kvalitetssikring av topplister, inkludert rettferdig rangering av modeller og håndtering av sammenlignbarhet, datalekkasjer og evalueringsskjevheter
• Erfaring med orkestrering av evalueringsoppgaver på HPC-systemer; erfaring med Olivia og LUMI er en forutsetning

Spesifikke krav – stilling 2: Enkoder-, RAG- og embeddingmodeller
For denne stillingen kreves dokumentert erfaring med enkodermodeller, informasjonsgjenfinning, embeddingmodeller og RAG-systemer. Stillingen har særlig vekt på evaluering av enkodermodeller, men omfatter også utvikling av slike løsninger.

• Solid erfaring med evaluering av enkodermodeller, inkludert måleparametere, datasett, referansepunkter og analyse av styrker og begrensninger
• Kunnskap om EuroEval og andre evalueringssystemer for enkoder-baserte modeller
  
• Erfaring med utvikling og evaluering av RAG-systemer og embeddingmodeller for informasjonsgjenfinning
  
• Erfaring med datasettforberedelse til pretrening og evaluering, inkludert kuratering, hard negativ sampling, deduplisering, kvalitetssikring og dokumentasjon
  
• Erfaring med pretrening og påfølgende finjustering av modeller for nedstrømsoppgaver
  
• Erfaring med utvikling av hentemodeller og modeller kompatible med Sentence Transformers eller tilsvarende rammeverk
• Erfaring med praktisk implementering av søk, evaluering av gjenfinningskvalitet og analyse av feilkilder i RAG- og embeddingbaserte systemer

Personlige egenskaper:

• Strukturert, presis og kvalitetsbevisst.
• Gode samarbeidsevner og evnen til å dele kunnskap i tverrfaglige miljøer.
• Evne til å kommunisere tydelig om språk- og teknologispørsmål, evalueringsmetodikk og modellbegrensninger.
• Evne til å arbeide selvstendig og effektivt med komplekse tekniske oppgaver.
• Personlig egnethet vil bli vektlagt.

Sikkerhetskrav
Stillingene krever at du oppfyller organisasjonens krav til personellsikkerhet. Kravene for disse stillingene tilsvarer sikkerhetsklarering og autorisasjon på HEMMELIG (SECRET)-nivå.

Vi tilbyr:

• To faste stillinger lokalisert i Oslo.
  
• Lønn i stillingskode 1087 (overingeniør). Aktuelt lønnsspenn for disse stillingene er for tiden 580 000–725 000 kroner, avhengig av kvalifikasjoner, kompetanse og erfaring. Høyere lønn kan vurderes for spesielt kvalifiserte søkere.
  
• Fleksibel arbeidstid og betalt overtid.
• Sommertid og betalt lunsjpause (7 t sommer,  7 t 45 m vinter)
• Medlemskap i Statens pensjonskasse
• Nasjonalbiblioteket er en IA-virksomhet