Robot journalistik: Skillnaden mellan att skrapa internet vs jobba med strukturerad data

There’s an important discussion going on in our industry around the use of robots to produce journalism. Having worked in this field for several years now, we’ve heard sceptics question how it’s possible to build algorithms which create consistently reliable and correct articles. This concern is valid when the underlying data is collected by scraping the internet. But when you build your automated content on structured data sets, the risk of error is minimal.  

It’s easy to understand the disquiet in the debate about automated journalism, and the confusion at the root of it. As with all technology, it can be used for nefarious ends. With modern computer programming it’s possible to create an algorithm that will go out and scrape the internet for just the kind of data or content you’re looking for, subsequently writing stories to suit someone’s political purposes – for example.

But this technology can also be used for good. There are lots of serious news publishers – with journalistic principles at the core – who use automated journalism to strengthen their business, some of whom work with United Robots. The process they use is very different to what we described above.

First of all, there’s the data. In order to produce reliable, factual texts, you need to work from structured sets of quality data, such as land registry data or sports results, which are not only correct, but which will be consistently available over time. The subsequent automation workflow then includes careful analysis of the data, a verified language process and finally distribution on the right platform, to the right audience.

With United Robots’ technology, the algorithms are managed by man and machine in tandem. The journalists and editors we work with determine how an article should be constructed; that is should include e g a headline of a certain type and/or length, a stand-first to some specification, a number of facts, a summary at the end etc.

The structure of the texts and rules around what angles to look for can be defined in quite some detail by the newsroom. So for example, when we build articles about property sales, a property may be defined as a “mansion” if the house is X large and the land is minimum Y square meters or acres. Or if we generate sports texts, let’s say football, a “sensational” turn of events may be if XYZ happens. And a “crushing defeat” may only require being beaten by three goals in the top league, but by six in division 4. The work in the newsroom to determine what is what is an interesting process in itself, and forces editors and reporters to really think through the language and values they use.

Once the rules for the text structure and angles are established by man, machine takes over. And what machines – the robots – contribute is that they never make factual or logical errors. If a fact is in the data, it’s correct and may be included (and consequently, if it’s not in the data, it will not feature). In other words, we build text on insights gleaned from the data analysis alone, with the rule system set in line with the journalistic principles and style sheets of the newsroom in question.

From a business perspective, working from structured data sets consistently published over time – as opposed to scraping for data – means a guaranteed volume of articles will be regularly generated, without which you can’t build sustainable news products and services. And only with structured data can you ensure the quality and reliability necessary to maintain trust in your journalism.

 

Nu är det officiellt! Vi har skrivit samarbetsavtal med Schibsted Media Group...

…vilket betyder att vi kommer att leverera och vidareutveckla robotjournalistik till / med potentiellt alla Schibsteds mediahus i Sverige och Norge framöver.

Schibsteds Pressrelease 15 April 2019:

Schibsted News Media och teknikföretaget United Robots har enats om ett nytt strategiskt samarbete som kommer att kunna erbjuda samtliga Schibsteds mediehus ett automatiserat innehåll, så kallad robotjournalistik. 

Schibsted ingår ett nytt strategiskt samarbete kring att skapa redaktionella automatiska texter tillsammans med United Robots.

– Schibsted har identifierat områden där automatiserade texter kan skapa innehåll på ett sätt som tidigare inte varit möjligt. Det gäller både befintliga bevakningsområden, bland annat trafik och sport, och nya områden. Det här kommer att komplettera journalisternas jobb på ett väldigt bra sätt, säger Lotta Folcker, redaktionschef på Aftonbladet med ansvar för Aftonbladet Labs.

Aftonbladet och United Robots har tillsammans utvecklat Aftonbladets hyllade robotjournalistik, sedan slutet av 2017.

– Det här öppnar för att öka engagemanget ännu mer hos våra läsare. Samarbetet innebär nya möjligheter att ge läsarna en fantastisk service på en rad områden och vi ser redan nu hur robotjournalistiken, till exempel när det gäller trafikrapporteringen, blivit en uppskattad och självklar del av vårt löfte till användarna, säger Lena K Samuelsson, publisher på Aftonbladet.

Det finns en lång tradition av att skapa journalistik på traditionellt vis inom Schibsted.

Nu – med ny teknik i form av artificiell intelligens (AI) och språkteknologi (natural language generation, NLG) – kommer artiklar, med input och optimering från journalisterna i Schibsteds olika mediehus, kunna skapas av en textrobot och erbjudas läsarna som ett komplement till den traditionella journalistiken.

United Robots är marknadsledande i Sverige inom automatiska redaktionella texter.

– Vi är naturligtvis både stolta och glada att få utveckla automatiserat innehåll tillsammans med en så stor och skicklig partner som Schibsted. I och med det här avtalet får Schibsteds titlar i Sverige och Norge tillgång till de tjänster United Robots redan tagit fram, men vi kommer också att långsiktigt kunna ta fram helt nya automatiserade tjänster tillsammans med Schibsted som har några av världens mest moderna och framgångsrika mediehus, säger Sören Karlsson, CEO på United Robots.

Schibsted och United Robots kommer att samarbeta både på den svenska och norska marknaden.

 

Tre svenska mediehus storsatsar på robotjournalistik

2018 har definitivt varit året då robotjournalistik fick sitt genombrott i Sverige. Huvuddelen av svenska lokala mediehus, samt giganten Aftonbladet, publicerar dagligen automatiskt framställda texter från United Robots.

Inför 2019 gör nu tre lokala mediehus en storsatsning på automatiskt innehåll; mediehuset VK Media i Umeå, Sveriges största lokala mediekoncern MittMedia AB och NTM med bland annat Norrköpings Tidningar och Upsala Nya Tidning. Mediehusen har i dagarna tecknat avtal om samtliga tjänster som United Robots kan erbjuda; referat och förhandstexter om sport, artiklar om fastighetsöverlåtelser, texter om nybildade bolag och konkurser, samt blåljus- och vädernyheter.

”Målet med den här satsningen är att ge våra nuvarande och framtida användare en ännu bättre lokal nyhetstjänst. Robotens artiklar kommer förmodligen inte var för sig driva enorma mängder trafik till våra sajter, men med personaliserade sajter som visar upp ”rätt” artiklar för ”rätt” användare kommer roboten hjälpa oss att erbjuda våra kunder mer innehåll som är relevant för dem”, säger Nils Olauson, redaktionell chef för NTM.

”Våra användare vill ha fler snabba uppdateringar om trafik och väder som hjälper dem i deras vardag, vi vet också att de vill att vi ska stilla deras nyfikenhet kring vem om köpte grannens hus, vem som har startat nytt företag eller hur det gick för det lokala fotbolls- eller hockeylaget.”

Vid sidan av personalisering gör automatiskt innehåll också att redaktioner kan fokusera ännu mer på den avancerade, värdeskapande journalistiken. Nils Olauson:
”Genom att låta roboten sköta sådant som robotar kan sköta frigör vi resurser så att våra reportrar av kött och blod kan lägga kraften på att hitta de där svåråtkomliga, men så otroligt viktiga historierna som verkligen berör människor. Därför är satsningen på automatisering också en satsning för att utveckla och förbättra journalistiken.”

Carl-Johan Bergman, redaktionell chef på MittMedia är inne på samma linje. ”Att med teknikens hjälp skapa intressant innehåll som vi tidigare saknat och därigenom också kunna satsa våra reporterresurser på exempelvis vidaregångar kring en hockeymatch direkt på slutsignal i stället för att skriva en snabb text är en win-win för oss. Textroboten ersätter inte våra journalister, däremot hjälper den oss att prioritera våra resurser rätt.”

Marie-Louise Jarlenfors, COO och affärsområdeschef digital på VK Media: "Genom United Robots robotlösningar kan vi erbjuda våra läsare mer hyperokalt innehåll och bevakningar utan att det kräver mer resurser från våra redaktioner. Journalisterna kan istället fokusera på att göra ännu mer kvalificerad, lokal journalistik och ägna tid åt grävande journalistik som kan göra skillnad."

"I framtiden vill vi också kunna ge våra läsare en mer personaliserad upplevelse och då har vi stor nytta av den stora mängd hyperlokala artiklar som vi får via robotarna. Vi tror att detta gör oss mer relevanta och att  kunderna får en bättre användarupplevelse."

”Mer på gång”
”Det känns fantastiskt att vi fått förtroendet att leverera alla våra tjänster till dessa mediehus”, säger vår VD Sören Karlsson. ”Det är ett kvitto på att automatiskt innehåll fungerar. Artificiell intelligens och automatisering kommer på bred front nu.”

Automatisering bidrar till att publicister kraftigt kan öka volymen texter och få till en dramatiskt mycket snabbare produktion och publicering än manuellt. United Robots lösningar öppnar för personalisering och superlokalt innehåll och helt nya satsningar online, som till exempel nya sajter och avdelningar, eller bearbetning av helt nya nischer.

United Robots automatiska texter om sport finns idag på de flesta lokala mediesajter (och även i en del papperstidningar) i Sverige. MittMedia, Gota Media, NTM, Norran i Skellefteå, småländska Hall Media, Stampens lokala tidningar i Västsverige, OTV, VK Media och finska HSS Media prenumererar på de olika tjänsterna. För Schibsteds Aftonbladet gör United Robots automatiska texter om fotboll, samt snabba nyhetsnotiser om trafik och väder.

”Och vi har mer på gång”, säger Sören Karlsson. ”Under 2019 ser vi fram emot att lansera automatiska texter inom nya områden och på nya språk.”

Svart på vitt att robotjournalistik är framtiden

2019 års upplaga av Schibsteds omskrivna årliga Future Report kom ut igår. Vi var väldigt glada att se att robotjournalistik tas upp som en nyckeltrend för framtiden. Och särskilt glada att United Robots nämndes specifikt, genom vårt samarbete med Aftonbladet.

Aftonbladet samarbetar sedan i våras med oss för att introducera automatiserat innehåll i sin bevakning av Premier League, trafik och väder. I Schibsted Future Report 2019 beskriver redaktionschef Michael Poromaa Aftonbladets nya användande av robotjournalistik som ”en av de största revolutionerna i Schibsteds historia”. Den nya tekniken gör det inte bara möjligt att producera obegränsade mängder texter varje dag, den frigör också redaktionell tid så att journalister kan ägna sig åt de stora och viktiga nyheterna, enligt Poromaa.

Vår VD Sören Karlsson befann sig på en mediekonferens i Trondheim när han hörde talas om att vi är med i rapporten – från Svenska Dagbladets tillförordnade Publisher Anna Careborg, som pratade om Schibsteds arbete med United Robots på scen.

Samarbetet med Aftonbladet (om omnämnandet i rapporten) befäster enligt Sören robotjournalistikens roll när mediehus i framtiden utvecklar innehåll och produkter:

”Att bli omnämnd i så positiva ordalag i Schibsted Future Report är naturligtvis en kvalitetsstämpel på det vi gör. Vårt samarbete med Aftonbladet, där vi utvecklar en Breaking Bot för trafik och väder, samt möjliggör heltäckande bevakning av Premier League, innebär ett verkligt erkännande på nationell nivå. Den enormt snabba utvecklingen inom robotjournalistik sen vi startade för tre år sedan har överträffat alla våra förväntningar. Automatiserat redaktionellt innehåll har nu fått sitt verkliga genombrott.”

Rosalinda blev just ännu bättre

Vi har just gjort klart en av de största journalistiska förändringarna sen vi startade sportroboten Rosalinda. Nu kan den nämligen förutom att skriva en huvudvinkel (och målskyttar, tabell och nästa match) också skriva en sidovinkel. Den hängs på direkt efter huvudvinkeln. På det här sättet blir texterna längre, mer dynamiska och mer lika hur en reporter skulle skriva. 

Den kan till exempel skriva både om att ena laget går upp i serieledning, och att motståndarna förlorar för sjunde matchen i följd. Här är ett exempel på det:

13-juni-2017.png

Nu jobbar vi vidare för att göra texterna ännu bättre!

klackspark.com - redaktör och robot i samarbete

1-juli-2016.png

Östgöta Media har lanserat sin nya fotbollssajt klackspark.com, som visar vad ett lokalt mediehus kan åstadkomma genom att kombinera traditionell lokaljournalistik med robotjournalistik - i det här fallet kring fotboll.

På klackspark.com mixas robottexter från United Robots sportrobot Rosalinda med manuellt skrivna texter om fotbollen i Östergötland. Rosalinda levererar automatiskt skrivna referat från alla matcher som spelas i Östergötland, och Östgöta Medias journalister fokuserar på de lite större matcherna, nyhetshändelser, webb-tv och krönikor. Resultatet är en massiv bevakning av fotbollen i Östergötland.

Eftersom Rosalinda i höst börjar skriva även innebandy, ishockey och bandy finns det goda möjligheter för lokala mediehus att ta ett liknande grepp även på dessa sporter.

Stärk din sociala närvaro med United Robots automatiska sportreferat

Med hjälp av vår sportrobot Rosalinda kan de lokala sportresultaten bli sociala snackisar på t.ex Facebook. Det visar sig när vi nu varvar upp produktionen av fotbollsreferat på MittMedias sajter i Norrland. 

Egentligen är det självklart: ett resultat på en tabellsida är "stumt" och omöjligt att lätt dela i sociala medier - det är ju ingen artikel - och inte satt i sitt sammanhang. Rosalinda förvandlar matchfakta till en riktig redaktionell text, lätt att läsa och ta till sig, som gjord för att delas i sociala medier eller skickas i meddelandetjänster.

Exempel på hur en automatisk text från United Robots textrobot Rosalinda, publicerad på  allehanda.se , blir ett underlag för social interaktion på Facebook.

Exempel på hur en automatisk text från United Robots textrobot Rosalinda, publicerad på allehanda.se, blir ett underlag för social interaktion på Facebook.