Red.anm. Geir Børdalen er investeringsansvarlig i NRK og hovedprosjektleder for NRK Origo-prosjektet. Børdalen har bakgrunn som journalist, programingeniør og "hjemmesnekra" IT-nerd.

Det er forskjell på å kunne søke – og faktisk finne igjen noe. Da jeg startet i radioen på 80-tallet var «arkivet» en håndskrevet protokoll hvor du førte inn ferdige program og et digert båndarkiv med 40.000 1/4″-lydbånd. Å finne igjen et program betydde å finne igjen et bånd i et enormt lagerrom.

Krisen var fullkommen hvis noen hadde satt inn båndet feil i arkivet, for eksempel på feil årtusen-serie. Da var det ofte bare en av de eldre tekniske vaktsjefene som hadde nok sjette- og syvende sans til å finne dem igjen. 40 års erfaring hadde vist henne hvilke feil som var de vanligste.

Radioarkivet i dag

I dag er Radioarkivet 790.000 metadataposter i en graph-basert database (OpenLink Virtuoso). Denne inneholder 2,8 PetaByte med lydfiler i et stort serversystem (Dell/EMC Isilon).

Hvordan finner NRK egentlig tilbake til gammelt nyhetsmateriale blant 123.000 Dagsnytt-poster? Eller hvordan finner vi en sak fra Nitimen blant 3000 bevarte enkeltprogrammer? Hvordan finner vi noe som helst blant alt det som blir lagret?

Svaret er gjemt i begrepet metadata.

Metadata er alt vi har skrevet om programmene våre som titler, beskrivende tekst, navn på medvirkende og programledere, opptaks- og sendedato, rettigheter, opphavspersoner, kvalitetsnivå, eller tekniske metadata. Tekniske metadata kan være båndnummer for gamle opptak (NRK38345), lydformat (.mp3) eller sted i verden / kartposisjon (geokoordinater). Og det finnes mange flere…

Origo – en ny begynnelse

ORIGO er et prosjekt som setter struktur på metadata og bygger NRKs logistikk-infrastruktur på nytt fra grunnen av. Planen er å kunne hente ut alle beskrivende metadata om programmene og lagre dem med ny og bedre struktur i et moderne «åpen kildekode»-databasesystem. Prosjektet startet i 2015, og har allerede levert flere nye muligheter for NRKs journalister.

NRK bygger selv brukergrensesnittene som gjør at du kan søke i historien. Radioarkivet gjør det mulig å søke og gjenbruke klipp og programmer fra NRK radios 80 års historie. Potion gjør det mulig å søke og gjenbruke fra NRKs TV-historie.

Under grensesnittene ligger en stor database for metadata. Denne er basert på åpen kildekode og lages som en såkalt graf-database. Metadatabanken skal etter hver innholde alle metadata for NRKs programmer – både i radio og TV. Og den er laget for å gjøre det enklere å finne og for å kunne bruke hele eller deler av programmene på nytt. De kan brukes til å lage nye programmer. Og de kan brukes som deler av artikler på nrk.no. Målet er at det til slutt skal bli mye enklere å publisere programmene på nett, mobil eller sosiale medier.

Leting etter et 30 år gamle klipp

Å lete opp et gammelt klipp fra arkivet er av og til som å lete etter en nål i en høystakk. NRKbeta skrev i 2015 om hvordan vi kunne bruke gamle stillbilder for å se utviklingen av sidearmene til Jostedalsbreen.

Når jeg leste denne artikkelen slo det meg at «dette hørtes kjent ut». I 1986 var jeg blodfersk programingeniør i fjernsynets ENG-gruppe. ENG står for Electronic News Gathering. Dette er den tekniske gruppen bak produksjonen av NRKs nyhetsinnslag.

En morgen fikk jeg beskjed fra vaktsjef å henge meg med fotograf Liv Benkow på en jobb i Jotunheimen. Breen hadde «kalvet» et par biter på størrelse med «Oslo rådhus» og tatt med seg flere turister i raset. Folk var skadet og drept.

Vi ble sendt opp til Jotunheimen dagen etter for å snakke med vitner, politi og overlevende.

Med sjøfly, bil og båt bar det opp til Jotunheimen så raskt det var mulig. Opptak ble gjort, og så var det samme veien tilbake til NRK på Marienlyst. Innslaget ble så vidt klart til sending fem minutter før det skulle på sending kl. 19:30.

Men hvor var dette klippet nå?

Leting etter nål i høystakk

Vi begynner letingen i SIFT – antagelig ett av Norges eldste dataprogram fortsatt i daglig bruk. SIFT betyr Søking i Fri Tekst. Dette er en fritekst-database laget av Norsk regnesentral i 1979! Og den er fortsatt i daglig bruk i NRK.

Hva var det breen het igjen?

Vi søker på Briksdalsbreen. Det gir ingen treff i 1985-86. Opptaksår (metadata) er jeg sikker på, fordi dette klart var i tiden jeg gikk på NRKs programingeniørkurs. Så en metadata-referanse er jeg sikker på! Men ingen treff i disse årene.

Hvordan kommer vi videre?

Når NRK-folk og andre journalister ikke vet, da spør vi kjentfolk. De som har vært der før! Vi bruker manns minne, noe som tilfeldigvis også er navnet på Nasjonalbibliotekets hovedrapport. Vi redder oss fortsatt fordi vi har folk som var der da det skjedde.

Problemet er bare det at de som var der da det skjedde, de husker ikke nøyaktig de heller. Jeg prøver regionsredaktør Kai Aage Pedersen i NRK Sogn og Fjordane. Og han sier: «Roy finn ut av dette», med henvisning til redaksjonssjef Roy Raasholm Fauske på nyhetsdesken.

Mens vi venter prøver jeg selv det vi alle gjør, Google. Vi søker eller googler det. Et Google-treff fører meg tilbake til en av NRKs lokale kunstverk i logistikk – nemlig NRKs fylkesleksikon for Sogn og Fjordane (nå overtatt av firmaet Allkunne).

Dette har bl.a. en meget god oversikt over breulykker i Jotunheimen for de siste 400 årene. Allkunne gir referanser til en breulykke i 1986 – ved Nigardsbreen. Jeg søker etter feil isbre!

Hvorfor tar jeg feil? Jo, fordi dette er to brearmer av Jostedalsbreen, en på hver sin side av hovedbreen. Og ikke mer forskjellige, enn at jeg ikke klarer å skille dem. Tilbake i SIFT får jeg et treff på breulykke ved Nigardsbreen i 1986.

Metadataene viser et innslag som er bevart: Telefonintervju politiadjutant Rømmen – rasulykke i Jostedalen. Men i SIFT er det ikke mulig å se påsyn av bildene. Da må vi ta i bruk et annet system. I Programbanken kan vi så med et tilsvarende søk finne klippet under:

Jeg tror letingen tok 2-3 timer. Ikke akkurat optimalt for en rask produksjon i dagens verden. Og i overkant i tidsbruk til at desken gidder å hente ting fra arkivene.

I erfaringene fra dette, så vi tydelig at vi trengte noe bedre i bunn av logistikken til NRK for å bli raskere og bedre.

Automagisk

Det var redaksjonssjef Tone Donald i P3 som klarte å sette navn på visjonen for Origo. Bygg det «automagisk», sa hun i et av de første møtene vi hadde med ledergruppa til Marienlyst-divisjonen. Bygg det så vi ikke merker at det er der. Bygg det slik at vi slipper å tenke på det. Bygg det slik at det går av seg selv.

Automagical

«…referring to complex technical processes hidden from the view of users or operators, resulting in tech that just works.»

Origo-visjonen er et ønske om å gjøre ting raskere, enklere, tilgjengelig for alle, modul oppbygd, med god og fleksibel arkitektur, effektiv, og automatisk . Men det har likevel vært automagisk som har blitt stående igjen som viktigste visjon.

Programmet som startet magien, Potion

Det automagiske startet med Potion, en egenutviklet programvare for søk, påsyn og send til meg / send til system -funksjonalitet. Potion ble laget slik at den skal fungere både på toppen av gammel systemstruktur og mot de nye Origo-komponentene. På denne måten bygger Potion bro fra gammel til ny infrastruktur i NRK.

Potion gir søk-mulighet inn i alle TV-klipp og programmer, både de som ligger i nåværende produksjonssystem Programbanken og i alle nett-klipp. NRK-arkivene er store. Det er ca 2 mill. klipp eller ca 45 PetaByte lagring, i NRKs lagringssystemer for video. Derfor måtte også det automagiske få en utvidelse i denne retningen.

OQLT – det automagiske søket!

Potion var første system som fikk bygget inn Origo-visjonen om:

et søk like enkelt som Google enlinje

Finn.no’s venstrekolonne (filtersøk)

innebygd avansert søk for arkivarer (men skjult for vanlige brukere)

Origo Query Language Toolkit = OQLT (uttalt: okkult).

Det hjelper med god humor innad i utviklingsteamet, og en og annen heavy metal-rocker på plass i staben…

Se video under for å se hvordan et søk etter første episode i «Nobel – fred i vår tid» blir gjort i Potion. Videoen viser også hvordan klipp kan publiseres mot en artikkel i nrk.no.

For meg ble OQLT forskjellen mellom søk, og faktisk det å kunne finne. Klippet fra Nigardsbreen lot seg finne i løpet av 20 sekunder. Jeg finner nå f.eks. gamle Nobel-konsertklipp i løpet av kort tid. Og klipp av Dollie (før de het delux) blir funnet på få minutter. Mange av disse ville ha krevd et dyptdykk i NRK-arkivet sammen med arkivarer med 30 års erfaring – og god tid. Noe vi sjelden har…

Hvorfor søker jeg på Nigardsbreen – og Nobel – og Dollie?

Jo, selvsagt fordi dette er metoden vi alltid bruker i møte med et stort arkiv. Vi søker på ting vi har vært med på selv, fordi det er vårt lakmuspapir på om det er mulig å finne noe i arkivet. Vi søker på mine ting – og våre ting. Ting vi selv har opplevd. Hvis det lar seg finne, da kan også andre ting la seg finne.

Radioarkivet

Neste Origo-komponent som har fått OQLT innebygd, er Radioarkivet. Radioarkivet er NRKs første byggestein for det vi kaller Metadatabanken. Metadatabanken er tenkt å inneholde (en gang i fremtiden) alle metadata for alle radioprogram, TV-program, klipp, stills, tekstefiler, grafikk og dokumenter som er laget av NRK eller sendt på en av våre plattformer (radio, tv, nett, mobil).

Radiohistorien er dessverre full av hull. Bånd var dyrt, så dermed tok man ikke vare på alt som ble produsert eller sendt. I perioden før 1990-tallet ble det kastet mye av radioens historie. Noe av det som er borte, er egentlig helt krise.

På 1950-tallet var Paul Temple og Radioteateret på høyde med den mest populære krimserie på tv. Siste episode av Paul Temple og Gregory-saken (1952) gikk tilfeldigvis samtidig med en bokselandskamp mellom Norge og Danmark på Jordal Amfi. Arrangørene fikk dispensasjon til å kjøre radiosendingen over høyttaleranlegget i salen i pausen, for å sikre at landskampen kunne gjennomføres uten tomme tribuner… Radioarkivet inneholder dessverre bare episode 1 og 2 (av 10) fra dette hørespillet.

Resten er tapt.

Radioarkivet inneholder alt som er tatt vare på fra radioens historie – og for fremtiden (fra 2013) tar vi vare på ALT. Vi tar vare på opptak av alle radiokanaler og distriktssendinger – og alle masteropptak (program som tas opp før sending), samt råstoff som er «arkivverdig». Alle program tas vare på i full produksjonskvalitet (PCM, 24 bit, 48 kHz samling) og alle webkvaliteter (mp3, AAC, HE-AAC).

Se video under for å se hvordan et søk etter dagens program av Nitimen blir gjort i Radioarkivet. Videoen viser også hvordan Radioarkivet er linket med NRKs musikkarkiv – og hvordan materiale gjenbrukes i Digas (som er Radioens produksjonssystem):

Metadatabanken – moduloppbygd metadatalagring

Metadatabanken er bygget basert på åpen kildekode – og lagring skjer i en såkalt graf-basert database (Openlink Virtuoso tripple store). Hovedbyggesteinene i den såkalte semantiske webben (RDF, OWL, SPARQL) er den del av Metadatabanken. Pr i dag er radio, tv og kortere nett-klipp på plass i løsningen.

Mens musikk, grafikk, stillbilder, teksting og dokumenter er under arbeid eller kommer senere. Planen er at Metadatabanken skal være etablert med alle hoveddeler i 2018.

NRK er ikke alene om å bygge ny infrastruktur med byggesteiner fra semantisk web. Både Statoil, Hafslund, Det Norske Veritas og flere offentlige sektorer har vært aktive med å bygge ny infrastruktur basert på den semantiske weben. Dette gjør også at vi har sett samarbeid mellom sektorer som tidligere ikke normalt hadde med hverandre å gjøre.

Viktig med god arkitektur og forståelse av arbeidsflyt i bunn

Når du bygger infrastruktur som skal vare i mange tiår eller mer, er det viktig å kunne samarbeide om standarder og ha en gjennomtenkt arkitektur i bunnen. Men enda viktigere er det å bygge løsninger som brukerne faktisk kan bruke. Origo-prosjektet har forholdt seg til to brukergrupper – publikum og NRKs egne brukere (journalister, redaksjonelle- og produksjonstekniske medarbeidere). Disse gruppenes arbeidsflyt har hele tiden vært i fokus for å kunne bygge best mulige løsninger.

Forstå og håndtere kompleksitet

En moderne mediebedrift er kompleks – med en mengde forskjellige arbeidsoperasjoner som løses hver eneste dag. Med leveranser til nett- og mobile plattformer har denne kompleksiteten økt dramatisk. NRK har endret seg fra en kringkaster til å bli et nærmere et forlagshus. For at publikum skal kunne finne igjen programmer og kortere klipp trengs struktur for metadata, at gode metadata faktisk blir levert, og programvare for raskt og enkelt å finne tilbake i programmene. Håndtering av denne kompleksiteten har gitt behov for nye automagiske verktøy.

Forstå og håndtere kompleksitet er også regel 7 i Berlin School of Creative Leaderships liste for 10 prinsipper for kreativ ledelse. (David Slocum)