Ainakin Helsinki ja Jyväskylä ovat ilmoittaneet soittavansa kaikille kaupungin ikäihmisille puhelimitse ja tarkistavansa onko kaikki kunnossa ja tarvitsevatko he apua.
Jyväskylän kaupunki soittaa kaikille yli 70-vuotiaille asukkailleen. https://t.co/RxWxCqMLV8
— Timo Koivisto (@tkoivisto_jkl) March 25, 2020
Tämä on loistava juttu ja hienoa huolenpitoa ikäkkäämmistä kuntalaisista, jotka ovat koronaviruksen kannalta riskiryhmää.
Tämä olisi myös loistava tilaisuus kehittää suomenkielistä keskustelevaa tekoälyä ja valjastaa esimerkiksi Onerva-bot soittamaan jatkossa noita tarkistuspuheluita (katso video missä juttelemme botin kanssa)
Botin ja robotiikan avulla voitaisiin tarjota ikäihmisille 24/7 huolenpito murto-osalla sitä kustannusta mitä ihmisten soittelu vaatii.
Onerva-bot voisi soittaa tarvittaessa varmistuspuhelun ja kysyä kuulumiset vaikka joka päivä vuoden ympäri. Ja suorittaa tarvittavat toimenpiteet, oli ne sitten keskustelun kirjaamisen, viestien välittämisen esimerkiksi hoitohenkilökunnalle tai avunpyynnön lähettäminen eteenpäin.
Ja kaikki tämä voidaan tehdä varttitunnissa. Yhä uudestaan ja uudestaan.
Helsinki aikoo soittaa läpi kaikki yli 80-vuotiaat. Tämä tarkoittaa yli 27 000 asukasta. Jyväskylä aikoo soittaa kaikki yli 70-vuotiaat, joita on n. 18 000. Tämä on valtava urakka.
Sanotaan, että yhden asiakkaan soittaminen kestää 30 min. Sisältäen puhelun valmistelun ja soittamisen, itse keskustelun, puhelun sisällön kirjaamisen ja toimenpiteiden tekemisen, esim. viestin lähettämisen eteenpäin.
30 min taitaa olla jopa aliarvioitu mutta mennään sillä. Tällöin Helsingissä puheluiden tekemiseen menisi:
27 000 hlö * 30 min = 810 000 minuuttia = 13 500 tuntia = 1688 henkilötyöpäivää = 7,7 henkilötyövuotta
Eli liki 8 vuotta kestäisi, jotta yksi ihminen soittelisi kaikki helsinkiläiset yli 80-vuotiaat läpi.
Onneksi sitä ei tarvitse tehdä yksin. Sadalla työntekijälle siinä menee vajaa 17 päivää. Jos tuntipalkka sivukuluineen on maltilliset 20€/h niin tämä soittorupeama maksaa Helsingille 270 000 euroa.
Entä jos soittokierros tehtäisiin vaikkapa kerta viikkoon? Vuodessa kustannus olisi yli 14 miljoonaa euroa. Pelkästään Helsingin osalta. Satoja miljoonia jos sama tehtäisiin ympäri Suomen.
Robotiikan ja keskustelevan tekoälyn avulla taas, kun botti on opetettu keskusteluihin, voidaan käydä periaatteessa rajaton määrä keskusteluita. Koko Helsinki voitaisiin soittaa läpi tunnissa. Ja suorittaa sama yhä uudestaan ja uudestaan, niin kauan kuin kriisi kestää, ja miksei senkin jälkeen.
Mutta meillä on ongelma: ei ole olemassa valmista tekoälyä, joka voisi suorittaa tällaiset soitot ja keskustelut ikäihmisten kanssa. Tekoäly pitää opettaa. Ja tätä opettamista varten tarvitsemme puhedataa. Ja tässä olisi tuhannen taalan paikka kerätä sitä.
Tekoälyn kehittäminen vaatii opetusdataa. Keskustelevan tekoälyn sovellukset pienissä kielimaissa kuten Suomessa ovat pahasti jäljessä esimerkiksi englanninkielisiä maita.
Yksi haaste on, että meillä ei ole kattavaa opetusaineistoa eli puhedataa jolla voisimme opettaa tekoälyä käymään keskusteluja. Olemme käynnistäneet tähän liittyen jos jonkinlaista aloitetta, joista voit lukea lisää esimerkiksi tästä:
https://onervahoiva.fi/suomenkielinen-tekoalyn-kehittaminen-etenee-digi-lonnrot-osa-2/
Valtakunnallisten hankkeiden lisäksi olemme alkaneet opettamaan meidän omaa Onerva-bottia kuntien vanhuspalvelujen kanssa yhteistyössä. Aloitimme viime vuonna Kuopiossa (lue lisää tästä), jossa nauhoitimme kotihoidon käyntejä (luvan kanssa).
Seuraavana askeleena meillä on juurikin tervehdys- ja tarkastussoittojen tekeminen kotihoidon asiakkaille ja näiden soittojen nauhoitus botin opettamista varten. Niin, että botti voisi tehdä soitot jatkossa itsenäisesti.
Nyt meillä olisi todella poikkeuksellinen tilanne kerätä arvokasta puhedataa ympäri Suomen huomattavasti isommassa mittakaavassa kuin me itse pystyisimme.
Prosessi, jonka olemme kehittäneet kuntien vanhustoimen kanssa on olemassa. Teknologia on olemassa. Osaaminen ja ilmiselvä tarve on olemassa. Joten Helsinki ja Jyväskylä…
Meidän ehdotuksemme niin Helsingille, Jyväskylälle kuin muillekin kunnille, jotka aikovat suorittaa tarkastussoittoja ikäihmisille.
Nauhoittakaa puhelut. Kysykää asiakkailta lupa puheluiden nauhoittamiseen ja tallentakaa ne mitkä voi.
Tämä puhedata mitä näistä nyt tehtävistä tarkistussoitoista saadaan, on kultaakin kalliimpaa opetusaineistoa tekoälylle. Sen avulla voimme tehdä valtavan digiloikan mitä tulee suomenkielisen keskustelevan tekoälyn kehittämiselle.
Sen avulla voimme rakentaa tekoälyn, joka käy automaattisesti noita tarkastussoittoja vaikka joka päivä koko Suomen ympäri.
Etenemisehdotuksemme on siis seuraava:
Tässä vaiheessa riittää kohdat 1-2 eli puhedatan nauhoitus ja tallennus. Voidaan sen jälkeen rauhassa miettiä miten edetään. Mutta tehkää edes se.
Vastaavaa mallia lähdimme siis jo toteuttamaan viime vuonna Kuopion kaupungin kotihoidon ja heidän asiakkaiden kanssa. Voit lukea siitä lisää tästä.
Teknologia, osaaminen ja prosessit ovat siis jo olemassa. Nyt meillä on todellinen tarve sekä mahdollisuus kerätä kallisarvoista puhedataa isossa mittakaavassa.
Kyse ei ole vain koronaviruksesta ja ikäihmisten voinnin tarkastuksesta tässä kriisissä. Kyse ei ole kertaluontoisesta harjoituksesta.
Väestön ikääntymisen johdosta, meillä on edessä valtava resurssipula ja uskomme, että Onerva-botin kaltaiset virtuaaliavustajat ja keskusteleva tekoäly voivat olla ratkaisevassa asemassa ikäihmisten apuna ja hoitajien tukena myös kriisin jälkeen.
Haluammekin tarjota ikäihmisille puheella ohjattavan avustajan tarjoamaan ympärivuorokautisen tuen, turvan ja viihdyttäjän. Niihin tapauksiin kun omaiset tai kotihoito ei pääse käymään.
Koronaviruksen sulkiessa riskiryhmään kuuluvat ikääntyneet koteihinsa, on tällaisella ratkaisulle ilmeinen tarve mutta se oli sitä ennekin ja on jatkossakin.
Botin avulla ikäihminen voi pitää yhteyttä läheisiin ja kotihoitoon, se voi kysyä vointia, muistuttaa lääkityksestä, ruokailusta, rytmittää päivää ja tarjota keskustelukumppanin. Lievittää yksinäisyyttä.
Botin avulla voi päästä käsiksi myös erilaisiin digitaalisiin palveluihin, ruuan verkkokaupasta pankkipalveluihin (lue tästä ja katso video miten tilaamme ruokaa puheohjaukselle).
Nämä eivät ole kaukaisia tulevaisuuden visioita vaan konkreettisia, toteutuskelpoisia käyttötapauksia. Mutta tarvitsemme niiden toteuttamiseen apua kunnilta.
Se on helppo käyttää, se tuo turvallisuutta ja vähentää huolta hurjasti.
Katso videolta lisää: https://youtu.be/p20nSUQ3JzI
Lue miten tyytyväisiä Kuopion kaupungin kotihoito sekä asiakkaiden omaiset ovat Onervaan.
https://onervahoiva.fi/kuopion-kotihoito-ja-omaiset-tykastyivat-onervaan/
Me tykätään Onervasta todella paljon. Se helpottaa todella paljon työtä etenkin asiakkailla, joilla on paljon omaisia. Myös asukkaat tykkäävät kun näkevät kuvia esimerkiksi lastenlasten uudesta koirasta tai kuvia mökiltä.
Huoli äidin voinnista on aina läsnä mutta helppo viestittely hoitajien kanssa on ehdottoman positiivinen asia. Stressi vähenee kun tietämys lisääntyy. Kiitos kuuluu kaikille äitiä hoitaville!
Onerva is building voice-operated virtual assistant for aging homecare customers.
Onerva-bot is conversational-AI in smart speaker (or in an app) that can have conversations with customer:
In this post we will go through Onerva’s technology and architecture.
So all you gear heads interested in Voice + AI + robotics, scroll down.
Before we dig into our tech stack, let’s answer one of the most common question:
Why don’t we just use Alexa or Google Assistant?
There are few simple reasons:
1. There is no general AI. Siri, Google, Alexa can’t understand eldercare context. Try telling Alexa or Siri, that you are feeling a bit of a pain in your stomach and see what happens. Try telling Google Assistant that you fell in the floor, can’t get up and need some help.
Each use case, each context must be taught to the algorithm/bot/AI. We need to collect and enter vast amounts of data in order the bot to understand context and nuances of aging customers.
We can of course teach Siri and Alexa to understand also eldercare related speech but then comes other challenges as follows.
2. With Onerva-bot we are handling sensitive, personal data. All the components have to be GDPR (Europe) and HIPAA (US) compliant.
We cannot send the data into Amazon or Google servers. Or even if Google servers would stay inside EU and thus they would be GDPR compliant, our customer (care providers) might still want to keep the data on-premise. Or even inside the device/smart speaker i.e. it will never leave the end customers home.
3. We also need to have 100% control and ability to modify the language models, intent discovery model, dialog flows and how the smart speaker operates. We want to be able stick our fingers into the heart of the AI or the circuit boards and do some hard core scientific surgery.
Although we are creating product for homecare customers, the buying customer is healthcare provider (municipality, private operator). These operators have to have their own admin interfaces and there will be integrations from our smart speaker / conversational-AI into their systems. This will be done a lot easier with our own proprietary technology.
So because of these reasons we need our own conversational-AI + smart speaker.
But now to the tech.
What are the components of Onerva’s conversational AI? We use the following modules in conversational AI engine.
Speech-to-text is trivial. Well not trivial but straightforward. It converts audio (voice-data) into text. Training a speech-to-text system requires huge amounts of voice-data, but the algorithms are well-known. A domain specific language model helps the system to choose the right word when two words sound similar. In our case, we must tune the language model to match how elders speak.
Intent discovery is the core. It is our most valuable asset. That includes the actual intelligence, the understanding what person says. Intent discovery picks intents/meaning from speech.
Consider the differences in following sentences:
”I’m thirsty” vs. ”I’m thirsty for your love”
”I’m dying to see you” vs. ”I’m dying, could you help?”
This intelligence we create by recording hundreds of hours of aging homecare customers speech in actual home care context. It’s all about the data. And we start to collect it now in 5 cities in Finland + doing nation wide crowdsourcing project among general population.
Because of the vast amount of voice data from aging customers, we can build the best model in this niche.
Dialog flow and conversation control is where we control how the conversations are leading us. This is where we have also the ”memory” of the conversation.
If customer mentioned pain in his leg earlier, we can ask about that.
This is also very context related and we use a lot of eldercare experts to create right kind of conversations flows. Customers with dementia sometimes tend to wonder around in their speech.
Speech generation is the part where we answer back to the customer. Currently we play pre-recorded audio recordings. So we don’t generate audio from text. Now we want to keep it simple and have limited number of answers and this can be done easily with prerecorded audio. Soon we will add text-to-speech capability.
Because we have 100% control in each part, we can add for example domain language models or local dialects in speech-to-text module. We can create our own dialog flows, add integrations into patient care systems, etc.
And we can even try to understand emotions and feelings based on voice. Which is actually one task in our roadmap.
Important part of our tech stack is so called ”Bot-commander interface”.
This is web application for Onerva-bot supervisor. She can monitor each bot conversation (even 100 at the same time). She will see an alarm if the bot doesn’t understand some sentence from customer and she can take control of that conversation.
With our point-and-click admin-interface, bot commander can choose the intent, i.e., tell the bot what the elder meant. And then the bot will again carry on the conversation.
This will ensure quality of the conversation and make it possible to go production from day one.
Initially, the bot commander will have more responsibility but as the bot learns more and more, she will let the bot work more independently. With each click, the bot learns on-the-fly while in production.
Ok, now we have our conversational-AI ready but we still need to get into the hands of homecare customer.
A smartspeaker is just one option. Because the intelligence is in our conversational-AI engine, we can deliver this capability via Onerva-API basically for any device.
So whether it’s a 3rd party smartspeaker, social robot, 3D printed old school telephone, Android/IOS application… you can use Onerva’s voice-operated virtual assistant in it. As long it has a mic, speaker, CPU and network card in it.
We focus in eldercare and we are making worlds best conversational-AI / virtual assistant for aging customers.
But Onerva’s conversational-AI engine with Bot-commander tool is not tied to just one domain. It can be used in other industries also. Whether it’s customer service, retail, transportation, manufacturing or finance and banking. Just to name a few.
If interested in testing it in your context or with your language, please let us know. It will take few weeks to set up a prototype.
That’s all for now.
When we progress more and get more data (especially via crowdsourcing), we will post more detailed info how we are using deep learning (neural networks) models for example in intent discovery. But that’s a post that I will leave to my colleague Lauri, our CTO.
Btw… we are opening a seed round Q2/2020. If interested in joining us (or you know investors interested in voice+AI and/or healthcare) don’t hesitate to contact me: Ville at onervahoiva.fi, p. +358 50 326 4989, LinkedIn
Se on helppo käyttää, se tuo turvallisuutta ja vähentää huolta hurjasti.
Katso videolta lisää: https://youtu.be/p20nSUQ3JzI
Lue miten tyytyväisiä Kuopion kaupungin kotihoito sekä asiakkaiden omaiset ovat Onervaan.
https://onervahoiva.fi/kuopion-kotihoito-ja-omaiset-tykastyivat-onervaan/
Me tykätään Onervasta todella paljon. Se helpottaa todella paljon työtä etenkin asiakkailla, joilla on paljon omaisia. Myös asukkaat tykkäävät kun näkevät kuvia esimerkiksi lastenlasten uudesta koirasta tai kuvia mökiltä.
Huoli äidin voinnista on aina läsnä mutta helppo viestittely hoitajien kanssa on ehdottoman positiivinen asia. Stressi vähenee kun tietämys lisääntyy. Kiitos kuuluu kaikille äitiä hoitaville!
