top of page

Uutiset

Uutiset kokoaa yhteen tiimimme asiantuntijoiden kirjoittamia ajankohtaisia blogipostauksia sekä uusimpia asiakastöitämme. Tutustu alta uusimpiin julkaisuihimme.

Koneoppiminen apuna poikkeavien liikennemäärien korjaamisessa  


tieliittymä
Fintrafficin kuvapankin kuva, Kuvaaja: Mika Pakarinen

Fintraffic toteuttaa liikennemäärien seurantaa Suomessa noin 500 liikenteen automaattisen mittausaseman avulla (LAM-asema), mutta mittauspisteiden teknisten vikojen, maastossa tapahtuvien poikkeuksien ja tiedonsiirtohäiriöiden vuoksi mittaushavainnot voivat olla puutteellista.  


Productivity Leap on toteuttanut liikennemäärätietojen LAM-Korjaussovellukseen osuudet: 

     1) automaattinen poikkeamien raportointi,  

     2) koneoppimismallin korjausehdotukset ja  

     3) helppokäyttöiset sovelluskäyttöliittymät, joilla suoritaan liikennemäärätietojen tarkastaminen ja korjaus


Näillä parannetaan sekä tiedon laatua että kasvatetaan tuottavuutta aiempaan liikennetietojen laadunvalvontaan nähden. 

 

Luotettavaa ja laadukasta liikennemäärätietoa tarvitaan niin liikennesuunnittelussa kuin poliittisessa päätöksenteossakin. Lisäksi liikennemääristä ovat kiinnostuneet teidenkäyttäjät sekä media, joka uutisoi esimerkiksi juhlapyhien meno- ja paluuliikenteestä. 

 


Kuinka korjaussovelluksen koneoppimismalli toimii?


Sääntöpohjainen poikkeamatarkastus tunnistaa datassa esiintyviä mahdollisia puutteita, jotka voivat olla esimerkiksi keräyskatkoja, yksittäisen kaistan puuttuvia havaintoja tai aiemmasta poikkeavia tuntijakaumia. Poikkeaville LAM-asemien keräyspäiville poimitaan mittausaseman historiasta muuttujat, jotka toimivat syötteenä koneoppimismallin korjausehdotukselle. Mallin tavoitteena on ennustaa muuttujien avulla, mikä olisi oikeampi liikennemäärä havaittujen poikkeamien tilalle. Malli tunnistaa muuttujista mm. viikonpäivien, vuorokaudenaikojen ja juhlapyhien vaikutuksen liikennemääriin ja osaa muodostaa korjausehdotuksen ajoneuvoluokittain. 


koneoppimismallin ehdottama korjausehdotus
Kuva 1 Keräys on keskeytynyt LAM-asemalla. Koneoppimismalli on ennustanut korjausehdotuksen, joka kertoo minkälainen aseman tuntijakauma tyypillisesti on. 


Koneoppimismalli toteutettiin osaksi korjausprosessia 


Koneoppimismallin lähtödata kirjoitetaan Data Vault 2.0 mallilla toteutusta Snowflake-tietovarastosta, joka sisältää tuntitason liikennemäärähistorian useilta vuosilta.  

  1. Lähtödata kirjoitetaan Snowflakesta csv-tiedostoina AWS:n pilvitallennuspalvelun S3-buckettiin ja kirjoitus suoritetaan tarpeen mukaan joko 

    1. ajastetusti edellisten päivän liikennemäärähavaintojen haun yhteydessä tai  

    2. tapahtumapohjaisesti, kun Korjaussovelluksessa on korjattu edellisen päivän liikennemäärät ja voidaan muodostaa ennuste seuraavalle korjattavalle päivälle. 

  2. Uusien tiedostojen saapuminen S3-buckettiin laukaisee Lambda-funktion, joka käynnistää Sagemaker notebook -instanssin.  

  3. Sagemaker notebook -instanssiin liitetty Lifecycle configuration käynnistää notebookin, joka suorittaa koneoppimismallin.  

  4. Tämä notebook  

    1. lataa mallin ja käsiteltävän datan S3-bucketista 

    2. käsittelee datan 

    3. tuottaa ennustukset ulostulokansioon ja 

    4. poistaa käsitellyt tiedostot S3:n input-kansiosta. 

  5. Lopuksi Lifecycle configuration sammuttaa notebook instanssin. 

  6. Ulostulokansioon (S3-bucket) saapuneet tiedostot laukaisee käyntiin Lambda-funktion, joka käynnistää tulostiedostojen siirron tietovarastoon 

  7. Korjaussovellus lukee tietovaraston näkymistä korjausehdotuksen ja alkuperäiset mittaustiedot ja esittää nämä käyttöliittymässä käyttäjälle 



Ennusteiden käyttö 


Korjaussovelluksen käyttöliittymässä käyttäjälle avautuu etusivulla tehtävälista, josta hän huomaa LAM-asemien eri keräyspäivät, joilla on havaittu poikkeamia mittaushavainnoissa (sääntöpohjainen tarkastus).  


tehtävälista havaituista poikkeamista
Kuva 2 Korjaussovelluksen etusivulle aukeaa tehtävälista havaituista poikkeamista LAM-asemien mittaushavainnoissa 

Käyttäjä tarkastelee sovelluksessa yhden LAM-aseman yhtä päivää kerralla, jolloin hänelle aukeaa graafinen esitys mitatuista liikennemääristä ja koneoppimismallin tuottamista korjausehdotuksista. Graafinen esitys, joka esittää korjausehdotuksen ja mittaushavaintojen välisen eron auttaa käyttäjää hahmottamaan, mistä poikkeamassa on kyse ja kuvaajaa klikkaamalla käyttäjä hyväksyy parhaaksi katsomansa tunnit korjattavaksi (tarvittaessa suunta- ja kaistakohtaisesti). 


poikkeava tuntijakauma LAM-asemalla
Kuva 3 LAM-aseman tuntijakauma on poikkeava. Esimerkiksi kello 9, 12 ja 19 voi visuaalisesti havaita epäilyttävän alhaisia liikennemääriä. Korjausehdotus suosittelee tavanomaisempaa kaksihuippuista tuntijakaumaa. 

LAM-asemien korjaukset julkaistaan ja korjattu tuntiliikennemäärä kirjoitetaan Snowflake-tietovarastoon raportointia varten sekä seuraavien päivien koneoppimisen korjausehdotusten lähtödataksi. 


Tieliikenteen liikennemäärätiedoista tuotettu raportointi on sekä julkista että Fintrafficille ja sen sidosryhmille toteutettua sisäistä PowerBI-raportointia. 


LAM-asemien liikennemäärätietoja on julkisesti saatavilla Fintrafficin verkkosivuilta (https://www.fintraffic.fi/fi/fintraffic/liikennemaarat) sekä Digitraffic avoimen datan palvelusta (https://www.digitraffic.fi/tieliikenne/#liikenteen-automaattiset-mittaustiedot-lam). 

 


raportti
Kuva 4 Fintraffic.fi sivuilla julkaistuilla raporteilla voi havainnoida eri LAM-asemien liikennemääriä. "Tarkastamaton" kertoo myös, miltä osin käytössä on vasta tarkastamatonta raakadataa. 

graafi juhlapyhäliikenteestä
Kuva 5 Juhlapyhäliikenne puhuttaa mediassa! Tyypillinen kaksihuippuinen tuntijakauma onkin juhannusaattona yksihuippuinen. Nämäkin julkisen raportoinnin tiedot perustuvat Korjaussovelluksessa tarkastettuihin liikennemäärätietoihin. 


Koneoppimisen avulla kohti tehokkaampaa päätöksentekoa 


Projekti oli ainutlaatuinen sen vuoksi, että kyse ei ole vain raportoinnista tai koneoppimisen sovelluksesta vaan projektissa yhdistyy tietovarastointi, koneoppiminen ja sovelluskehitys – kaikkiin näihin Productivity Leapilla löytyy asiantuntemusta!  


Projektissa onnistuttiin: 

  • Tuomaan tietovaraston laajat tietovarannot koneoppimisen lähtötiedoksi 

  • Tuottamaan koneoppimisella laadukkaita korjausehdotuksia Korjaussovelluksen käyttäjille 

  • Palauttamaan Korjaussovelluksessa tehdyt korjaukset tietovarastoon ja raportoinnin käyttöön 


Vastaavanlaisia koneoppimismalleja voitaisiin soveltaa tukemaan ihmisen päätöksentekoa tarjoamalla visualisointeja taustalla vallitsevista ilmiöistä – tässä tapauksessa liikenteen vuodenaika-, viikonpäivä- ja tuntivaihtelusta sekä juhlapyhien vaikutuksesta. Aiemmin tämä on perustunut käyttäjän hiljaiseen tietoon, joka on projektissa onnistuttu tuomaan osaksi järjestelmää.  


Koneoppimisen käyttöönotossa voi aluksi edetä niin, että koneoppiminen toimii tukiälynä eli tukee ihmisen päätöksentekoa. Myöhemmin luottamuksen kasvaessa koneoppimiselle voi siirtää aiemmin ihmisen tekemiä päätöksiä määrättyjen rajojen puitteissa ja näin automatisoida prosesseja uudella tavalla. 



Jos kiinnostuit, kuinka koneoppimista voi soveltaa osana tietovarastoratkaisuja sekä sovelluskehitystä, niin ota yhteyttä Kari Natuseen

 kari.natunen@productivityleap.com

 

Kerromme mielellämme lisää, kuinka voisimme auttaa organisaatiotanne. 



Viimeisimmät päivitykset

Katso kaikki

Lisänäyttöä uusista lääkehoidoista

OMOP-harmonisaatioon ja hajautettuihin analyyseihin perustuvan pilottiprojektin loppuraportti Pilotin tavoitteena oli kokeilla ja kehittää OMOP-tietokantoja ja hajautettuihin (federoituihin) analyysei

Comments


bottom of page