AR Emoji er innebygd i kameraappen til Samsung Galaxy S9, og lar deg bruke det fremovervendte kameraet til å lage og sende digitale tegneserie-avatarer. I likhet med Apples Animojis i konsept, fanger AR Emoji ansiktsbevegelsene dine og speiler dem i form av en karakter eller et dyr. Men med funksjonen "Create My Emoji" kan du også lage en av deg selv ved å ta en selfie - slik at du kan velge hudfarge, antrekk, frisyre, hårfarge og briller.
Med AR Emoji siktet Samsung seg til å løse det de ser på som et problem - å finne en måte å erstatte eksisterende emojier med interaktive. Selskapet ønsket å gjøre dette på en måte som var enkel ved å gi brukerne de riktige verktøyene for å fange følelser, men likevel tillot dem å enkelt dele resultatet på en rekke meldingsplattformer.
Så, hvordan opprettet Samsung sine AR Emojis? For det første gikk det rett til 3D-animasjonsekspertene som vekket til live noen av Hollywoods mest populære karakterer.
Fra storskjerm til smarttelefonkamera
For å drive den nye funksjonen samarbeidet Samsung med Loom.ai - en San Francisco-basert oppstart som spesialiserer seg på 3D-animasjon. Med selskapets programvare kan brukerne lage personlig tilpassede og tilpassbare 3D-avatarer fra et enkelt fotografi uten tilpasset maskinvare eller dybdesensorer. Gjennom et partnerskap og et programvareutviklingssett (SDK) kombinerte Samsung Loom.ais teknologi med S9s kamerateknologi (utvidet) virkelighet og ansiktsgjenkjenning) for å gjøre tilpasset AR Emoji mulig.
Samsung ønsker å finne en måte å erstatte eksisterende emojier med interaktive.
Visjonen bak Loom.ai startet med filmer - tegneserier og superhelter for å være nøyaktige. Etter å ha jobbet tidligere hos populære visuelle effekter som DreamWorks og Lucasfilm, har Loom.ais grunnleggere - Mahesh Ramasubramanian og Kiran Bhat - bidratt til å bringe kjente karakterer, som Shrek og Hulk, til storskjerm.
For å injisere personlighet i disse karakterene, brukte de performance-capture-teknologi for å innlemme skuespillerne som spilte dem - registrerte skuespillerens bevegelser, ikke deres visuelle utseende. Men etter å ha sett hvordan filmpublikum reagerte på deres 3D-kreasjoner, bestemte Ramasubramanian og Bhat seg for å ta teknologien videre - utover Hollywood - ved å starte Loom.ai, som fokuserer på smarttelefoner.
"Folk reagerer øyeblikkelig på at disse karakterene blir levende når de drives av menneskelige skuespillere," sa Ramasubramanian, som fungerer som administrerende direktør og medstifter, til Digital Trends. "Vi startet Loom.ai med det målet at vi trenger å kunne finne en enkel måte for hver enkelt å kunne se seg selv i 3D, og for det måtte vi bygge en ny teknologi."
Brenda Stolyar / Digital Trends Med spillefilmer krever det å lage en 3D-avatar tonnevis med utstyr - kostbar maskinvare og programvare, sminke og studioinnstillinger. Men Loom.ai fant en måte å forenkle prosessen med å fange en persons funksjoner uten de vanlige verktøyene; i stedet bruker den patenterte teknologien et enkelt fotografi og dyp læring for å analysere et bilde. Hvis et fotografi er fritt for ansiktsuttrykk, ser dyplæringsalgoritmen på pikslene og produserer automatisk et ansikt som innkapsler riktig muskelbevegelse.
"Da Samsungs partnerskap rullet rundt, hadde vi en sjanse til å implementere den sofistikerte teknologien på en enhet, som vi føler er en ganske overbevisende ingeniøroppgave i seg selv," sa Bhat, Loom.ais CTO og medstifter, til Digital Trends. "Det er et stort teknologihopp i å kunne ta noen av disse ideene og ambisjonene fra den store skjermen og bringe den til mobil."
For å drive AR Emoji, vervet Samsung hjelp av Loom.ai - en San Francisco-basert oppstart som spesialiserer seg i 3D-animasjon.
Å innlemme denne teknologien i Galaxy S9-maskinvaren krevde Loom.ai å restrukturere algoritmene for å kjøre på enheten. Men Loom.ai opprettet ikke AR Emoji alene: Både Ramasubramanian og Bhat krediterer Samsung for å dedikere en enorm innsats for å optimalisere programvaren. Ved å tilby SDK til å integreres i smarttelefoner, tror Loom.ai-grunnleggerne at Samsung kan gjøre rammeverket mye rikere ved å legge til mer innhold og tilpasningsalternativer i fremtiden.
Hvordan Galaxy S9 skaper en digital avatar
Så, hvordan lager S9 (og S9 Plus) AR Emojis? Mens Samsung ikke avslørte sin hemmelige saus, ga det Digital Trends et blikk under panseret.
Ved å jobbe med Loom.ais teknologi fanger og behandler telefonens kamera et 2D-bilde til 3D. For å forbedre dette ytterligere bruker S9 tilleggsprogramvare - ansiktssporing og Samsungs Blend Shape-teknologi - for å gi ansiktsuttrykk for AR Emoji.
Deretter sitter du igjen med en tegneserie-lignende versjon av deg selv som kan gi 18 forskjellige uttrykk - som Samsung planlegger å utvide seg sakte til 54 - alt fra glede og glede, til sorg og sinne. All data er også lokal på enheten og lagres ikke noe annet sted.
Begge jobber sammen, sporer ansiktssporingsteknologi over 100 ansiktsfunksjoner i sanntid (for eksempel blunker eller smiler) for å fange individuelle følelser, mens Blend Shape bidrar til å levere et større utvalg av dem - som blander uttrykk sammen basert på 75 grunnleggende menneskelige ansiktsegenskaper . Samsung sier at det for Blend Shape utførte minst 100 tester på ukentlig basis i laboratoriene sine, for å sikre at det er nok data som kan lokke brukerne. (Blend Shape brukes også til å lage Disney AR Emojis, som Mickey og Minnie Mouse.)
I vår egen AR Emoji-test følte et flertall av oss at karakterene våre så ekstremt unøyaktige ut. En forfatter følte at det var mangel på hudtonealternativer, uten mørkhudete toner å velge mellom. Andre følte at deres AR Emoji ikke lignet noe på dem, noe som gjorde at redigering av avataren virket mer som en jobb enn en morsom oppgave.
Ifølge Loom.ai er det tungt å skape en nøyaktig AR Emoji på måten selfien blir skutt på. Brukere bør gå rundt å ta bildet på samme måte som de tar et passbilde. "Du vil ha jevn belysning, ingenting som dekker ansiktet ditt, og et nøytralt uttrykk slik at vi kan legge til uttrykkene senere," forklarte Ramasubramanian. "Det handler om at folk blir litt vant til det og så ser mulighetene for å animere det og bruke det."
Ramasubramanian sa også at brukerne burde behandle det slik de ville gjort mens de tok noen selfie - det vil si at du kan ta mange bilder til du er fornøyd med bildet. Siden AR Emoji lar deg lage flere avatarer, kan du sammenligne dem for å finne den du liker best. Hver og en lagrer også på telefonen din, slik at du kan bytte opp versjonen du bruker, avhengig av humøret ditt.
Den siste oppdateringen til AR Emoji inkluderer ekstra frisyrer, hodeplagg som hijab og andre alternativer. Oppdateringen ruller for øyeblikket ut til ulåste versjoner av Samsung Galaxy S9 og S9 Plus i Korea, Kina og Europa. Europeiske operatørenheter og amerikanske ulåste enheter bør ha oppdateringen tilgjengelig for nedlasting denne uken. Oppdateringen for amerikanske operatørenheter vil lanseres i løpet av de neste ukene. Samsung sier at AR Emoji vil fortsette å utvikle seg i fremtiden, men foreløpig holder seg tett på nøyaktige detaljer.
