Interaktiva bildbeskrivningar En teknikspaning

Charlotte Magnusson

Kirsten Rassmus-Gröhn

SVENSK PUNKTSKRIFT

PUNKTSKRIFTSNÄMNDEN

MYNDIGHETEN FÖR TILLGÄNGLIGA MEDIER

Titlar i skriftserien Svensk punktskrift:

Fonetik och punktskrift, av Lillemor Andersson och Catharina Johansson (2005)

Interaktiva bildbeskrivningar: en teknikspaning (2023), av Charlotte Magnusson och Kirsten Rassmus-Gröhn

Kortskrift. Nivå 1 och 2 (1997) Kortskrift. Nivå 3 och 4, för anteckningar (1997)

Louis Braille – Skapare av ett skriftsystem, av Beatrice Christensen Sköld (andra upplagan, 2011)

Matematik och programmering: en studie om läromedel, metoder och teknik som fungerar för punktskriftsanvändare (2023), av Frida McCabe och Linn Wrangmark

Punktskriften och dess användning (andra upplagan, 2010)

Punktskriftens skrivregler för matematik och naturvetenskap (andra upplagan, 2012)

Punktskriftens termer (andra upplagan, 2013)

Schacknotation i punktskrift (2013)

Svenska skrivregler för punktskrift (andra upplagan, 2009)

Tactile maps – Guidelines for the production of maps for the visually impaired (2003), av Yvonne Eriksson, Gunnar Jansson och Monica Strucel

Taktila kartor – Handledning i kartframställning (2003), av Yvonne Eriksson, Gunnar Jansson och Monica Strucel

Tidigare utgivning:

Handledning i reliefbildframställning på svällpapper (1994), av Yvonne Eriksson och Monica Strucel

A guide to the production of tactile graphics on swellpaper (1995), av Yvonne Eriksson och Monica Strucel

© 2023 Punktskriftsnämnden,

Myndigheten för tillgängliga medier

Redaktör: Björn Westling

Innehåll

Förord 3

Ordlista 5

Summary in English 7

Sammanfattning 9

Inledning 11

Syfte och bakgrund 11

Omfattning 11

Introduktion – vad är en interaktiv bildbeskrivning? 12

Övergripande principer för interaktiva bildbeskrivningar 13

System för interaktiv bildupplevelse 18

Pekskärm med sonifiering 18

Pekskärm med vibrationer och talat ljud 19

Tangentbordsstyrning med alt-text 19

Multitouch och andra verktyg 19

Joystickar och möss 20

Haptiska 3-dimensionella gränssnitt 20

Punkt-displayer och taktila skärmar 21

Hybridsystem 22

Presentation av innehåll – icke-visuell återkoppling 24

Haptik 24

Att utforska information taktilt 25

Ljud 26

Temperatur och doft 26

Automatisk bildbeskrivning och AI 28

Teknik för input – hur vet tekniken var du är? 30

Skapa egna digitala bilder 32

Utformning av innehåll 33

Vart är vi på väg? 36

Slutsatser 38

Referenser 39

Förord

Denna studie av Charlotte Magnusson och Kirsten Rassmus-Gröhn har beställts av Punktskriftsnämnden på Myndigheten för tillgängliga medier, MTM.

De båda författarna arbetar för Certec vid Institutionen för designvetenskaper på Lunds Tekniska Högskola. Charlotte Magnusson är också medlem i Punktskriftsnämnden.

Vi är mycket glada över att kunna publicera rapporten i Punktskriftsnämndens skriftserie och återigen bidra till utvecklingen av detta intressanta kunskapsområde som bildbeskrivning utgör. En av rapportens stora förtjänster är att det här blir tydligt att det finns stor potential till förbättrade informations- och kommunikationsmöjligheter för många användare av tillgängliga medier och andra mediekonsumenter.

December 2023

Björn Westling

Punktskriftsnämnden, MTM

Ordlista

Term Förklaring

Användare

Person som använder en teknisk produkt.

Alt-text

Kort bildbeskrivning som ursprungligen var del av html-standard (används för att skapa webbsidor), och som också finns i textredigeringsprogram som Word och i pdf-filer.

Augmented reality (AR)

Den svenska termen ”förstärkt verklighet” är ännu inte så vanlig. AR innebär att till exempel en mobilbild kan ges extra information, till exempel om man filmat bergstopparna runt omkring sig kan man få fram vad de heter överlagrat på bilden. AR kan också vara ljud.

Bitmap

En typ av digital bild som består av en massa punkter och som därför inte på ett enkelt sätt kan märkas upp med annoteringar av del-element i bilden. Jämför vektorgrafik.

Interaktiv

Här: utbyte av information mellan användare och digitalt system i realtid, det vill säga i vilken utsträckning användaren kan styra/ställa frågor till informationen och få svar omedelbart

Modalitet

Informationskanal som riktar sig till något sinne, till exempel visuell modalitet. Termen kan användas både om användaren, men oftare om vilken typ av information som en interaktiv teknisk produkt lämnar ifrån sig.

Multitouch

Teknik som gör det möjligt att känna av var flera fingrar finns på en pekskärm. Det innebär till exempel att flera personer kan interagera med den samtidigt, men också att flera fingrar kan användas vid utforskande i likhet med taktila pappersbilder.

Pekskärm

Visuell skärm med berörings-avläsning, används idag oftast med fingrarna.

Punktskriftsdisplay

En rad med elektroniskt styrda celler av 8 piggar som utgör ett punktskriftstecken (en punktskriftscell). Kan vara av olika längd. Ordet “display” används hellre än “skärm” här för att signalera att presentationsytan är begränsad.

Smart telefon

Mobiltelefon med pekskärms-interaktion och koppling till internet

Sonifiering

Tekniken att ”översätta” visuell information till ljudinformation med olika frekvens, tonhöjd, klangfärg, rumslig placering, ljudstyrka, effekter osv.

Taktil skärm

En större matris med elektroniskt styrda piggar kopplade till dator som kan höjas och sänkas i likhet med en punktskriftsdisplay, men som har en större yta. Kan vara anpassad för att visa även punkt, men måste inte vara det.

Vektorgrafik

Som exempel är ”Scalable Vector Graphics”, en typ av bildfil som består av del-objekt som går att annotera och på så sätt utforskas genom att ge information till användaren om olika delar av en bild.

Summary in English

In this technology survey, we provide an overview of what interactive image descriptions are, how they should be designed and how they can be used. We present overall principles for the design of interactive image descriptions and describe a range of different technical systems. We additionally present information on important things to consider when designing interactive image descriptions. The document ends with a short text about the future – where are we going in this field?

Sammanfattning

I denna teknikspaning ger vi en överblick över vad interaktiva bildbeskrivningar är, hur de kan utformas och användas. Vi presenterar övergripande principer för hur interaktiva bildbeskrivningar kan utformas och beskriver olika former av tekniska system. Vi presenterar även information om vad som är viktigt att tänka på vid utformning av interaktiva bildbeskrivningar. Dokumentet avslutas med en kort text om framtiden – vart är utvecklingen på väg?

Inledning

Syfte och bakgrund

Den digitala världen idag är i hög grad visuell. Bilder är en viktig del av interaktionen exempelvis på sociala medier, i nyhetsförmedling och i bloggar, i e-handel, men kan också förekomma i sådant som säkerhetslösningar där du ska klicka på bilder som innehåller trafikljus för att bevisa att du inte är en robot. Schematiska bilder i form av kurvor, diagram och olika typer av kartor är, för den som ser, effektiva sätt att förmedla information i många sammanhang.

För den som inte ser, innebär det vanligtvis en utmaning att få del av den information som förmedlas via bilder. Under förutsättning att en webbsida är korrekt gjord, finns det bildbeskrivningar i form av alttexter, och, beroende på utrustning och sammanhang, kan det också finnas taktila material i form av till exempel svällpappersbilder att tillgå.

Dagens digitala teknik ger samtidigt möjlighet att skapa nya sätt för att interaktivt förmedla information, och det har genomförts många projekt genom åren som syftat till att på olika sätt förmedla bildinformation på ett bättre sätt. Syftet med denna översikt är att ge en överblick över vad som har gjorts inom fältet digitala interaktiva bildbeskrivningar.

Omfattning

Arbetet inriktar sig på digitala lösningar. Detta är ett område där det finns allt från mindre studentprojekt till större forskningsprojekt, men där det också sker kommersiell utveckling. En del resultat publiceras vetenskapligt, medan andra kan finnas i olika typer av rapporter, på hemsidor, på videor på Youtube, samtidigt som det med säkerhet också finns sådant som inte går att nå, eller som åtminstone är svårt att hitta, för personer utanför den organisation som genomfört arbetet. Vi gör alltså inte anspråk på att ha hittat exakt allt som gjorts, utan har valt att fokusera på att identifiera olika typer av interaktion, för att ge en överblick över hur sådan interaktion kan utformas. Vår avsikt är också att förmedla information om sådant som är viktigt att tänka på vid utformningen av denna typ av system.

Introduktion – vad är en interaktiv bildbeskrivning?

För personer med synnedsättning är bildbeskrivningar och taktila bilder nödvändiga hjälpmedel för att kunna ta del av information som presenteras i form av grafiskt material eller bilder. Bildbeskrivningar kan idag göras av den som skapar bildmaterialet, till exempel en kommunikatör som skriver alt-texter till bilder på en webbsida. Beskrivningar kan också skapas automatiskt med bildigenkänningsprogram som tidigare testats av forskare på Facebook (Wu et al. 2017), och som numera finns som standard i till exempel Word och Powerpoint.

Bilder kan vara mycket olika och även syftet med bilderna kan vara olika. Om bilderna är komplexa kan det vara opraktiskt med en (lång) statisk text som beskriver hela bilden. Några exempel är en karta, där också relativa positioner mellan olika objekt har stor betydelse, eller matematisk information, men även om man vill förstå en tavla i detalj och på djupet.

En interaktiv bildbeskrivning är en bildbeskrivning som på något sätt delas upp i mindre delar och presenterar informationen baserat på användarens fokus eller aktiva val. Det kan till exempel vara en möjlighet att på olika sätt välja delar i bilden och få dem beskrivna för sig, kanske kombinerat med att man enkelt kan stega sig nedåt till större detaljnivå efter behov och önskemål.

Övergripande principer för interaktiva bildbeskrivningar

Det finns många olika sätt att göra en bildbeskrivning interaktiv. Det kanske enklaste sättet är att erbjuda olika nivåer i beskrivningen, det vill säga att användaren kan välja hur mycket, alternativt vilken typ av information, som ska presenteras. Dagens alt-texter erbjuder tyvärr inte nivåer, utan ger all text i ett sjok. Det alternativ som finns är att användaren kan avsluta uppläsningen. Ett begränsat sätt att erbjuda nivåer är därför att börja med en kort information, och sedan fortsätta med mer utförlig text, som användaren kan välja att hoppa över. Detta kräver dock att användaren är införstådd med denna hierarkiska uppdelning för att den ska komma till sin fulla rätt.

Figur 1 Det som är under fingret läses upp när användaren klickar på eller nuddar vid det, här stadens namn.

En karta över en del av Skåne. En peksymbol pekar på staden Ängelholm, och en pratbubbla visar att stadens namn läses upp.

Ett annat alternativ är att ha beskrivningen i löptexten, gärna under olika rubriker, så att det snabbt går att välja önskad typ av beskrivning i själva texten. I båda dessa fall är det tekniska systemet egentligen inte utformat för att erbjuda interaktiva bildbeskrivningar, men de är exempel på hur viss interaktivitet i bildbeskrivningen trots det ibland går att åstadkomma. Ett exempel hur detta kan göras i ett system som däremot är utformat för att erbjuda olika nivåer i beskrivningen visas i DERi (Statped 2021), där det går att få namn på en plats genom att trycka en gång på ett objekt alternativt föra fingret över ytan och då få uppläst det som är under fingret, se Figur 1. Genom att dubbelklicka på en plats får användaren en fördjupad beskrivning, det vill säga olika nivåer av beskrivning är kopplade till olika gester, se Figur 2.

Figur 2 När användaren dubbelklickar läses mer information upp, här vilka olika riktningar som tågen går åt i staden.

Peksymbolen dubbelklickar på kartan och det som läses upp är "Tåg till Båstad, Åstorp och Helsingborg".

Ett annat sätt att med befintlig teknik göra beskrivningen mer interaktiv, är att utforma bilder så att skärmläsaren kan stega igenom olika delar av bilden (jämför hur man kan stega igenom en webbsida till olika länkar, rubriker och text). Detta kräver dock att bilden är uppdelad i del-bilder, som exempelvis en bild av ett flygplan där kroppen, vingarna, nosen och så vidare är olika bilder och har försetts med tillhörande information. En sådan utformning gör att användaren kan stega igenom bildens beståndsdelar med hjälp av skärmläsaren och få beskrivningen av dessa upplästa. Viktigt att tänka på är att ordningen delarna kommer i ska vara logisk, samt att det underlättar överblicken om det också finns en beskrivning över ”helheten” (i vårt exempel ”ett flygplan”). I en sådan delad bild är det dock svårt att få uppfattning om positioner och storlekar om detta inte beskrivs på annat sätt.

Ett mer spatialt sätt att stega igenom, är när bilden är uppdelad i lika stora delar, och användaren på olika sätt (gester, tangenter etc.) förflyttar sig mellan dessa områden. Ett exempel på hur detta går att göra med hjälp av tangentbordet ges av iSonic (Zhao et al. 2008). Här delades en karta upp i lagom stora bitar, vilka sedan i sin tur delades upp i ett 3×3 rutnät. Det numeriska tangentbordet (siffrorna 1–9) användes för att välja ruta (se Figur 3) och ge möjlighet till direkt utforskande av informationen i detta mindre rutnät. Användaren kunde dessutom flytta rutnätet mellan olika delar av kartan med hjälp av pilknapparna. Det fanns även sökfunktioner och möjlighet att spela upp underliggande data (till exempel all data i en viss kolumn).

Figur 3 Principbild för iSonic, hur det numeriska tangentbordet kan användas för att välja en del av en bild.

En karta indelad i ett rutnät. Rutorna är numrerade från 1 till 9.

Ytterligare ett sätt att stegvis utforska en bild går att åstadkomma genom att placera interaktiv märkning (”taggar”) på olika platser i bilden. Denna typ av system används ofta för märkning av objekt i omgivningen (Lim and Ho 2021), (Iris Hjälpmedel 2023), men går även att applicera på fysiska bilder eller 3D-objekt. Ett exempel på en utformning där användaren kan välja ut delar av en 3D-modell för att få detaljerade beskrivningar av de olika delarna finns i en artikel av Rossetti et al. (2018). I exemplet är modellen handbyggd, baserad på en minidator och 3D-printade skalmodeller av ett torg, och användaren kan trycka på olika knappar för att få information.

Slutligen finns möjligheten att låta användaren både utforska och ge återkoppling kontinuerligt beroende på var i bilden kontakten sker, se även DERi (”DERi, la surface interactive” u.å.) och Figur 1 ovan. Helt fritt utforskande skulle i fallet med bilder innebära fri tillgång till hela den tvådimensionella bildytan, medan ett begränsat utforskande till exempel innebär att utforskandet begränsas till en mindre del av bilden, eller till att enbart ske i en dimension, exempelvis längs en axel i ett diagram (Taibbi et al. 2014), se Figur 4. Kontakten med bilden eller utforskandet kan ske via de egna händerna eller fingrarna (Poppinga et al. 2011). De kan alternativt förmedlas via någon form av pekverktyg, exempelvis en penna (Chen et al. 2021), mus, joystick eller liknande. Information om bildinnehållet kan förmedlas via information som kan uppdateras efterhand, till exempel ljud, taktil display eller haptisk display, men det är också möjligt att använda fysiska objekt eller kännbara ”överlägg” med fast information som en del av interaktionen (själva objektet kan då inte ändras, förändring sker genom att flytta/byta objekt eller byta överlägg).

Figur 4 Med fingret kan man följa x-axeln och få värdet i kurvan uppläst i tal eller uppspelat som toner i olika frekvens (till exempel högre frekvens för högre värden)

En peksymbol som rör sig längs x-axeln i ett kurvdiagram. I en pratbubbla står -2 : -1,7

Att översätta grafisk information till andra modaliteter som ljud och/eller känsel är möjligt men inte alldeles enkelt. Det uppstår frågor om hur informationen ska översättas, och hur informationen bäst lämpar sig för att uppfattas när den går från en modalitet till en annan. Synen kan hantera stora mängder samtidig information på ett sätt som varken hörseln eller känseln mäktar med. Detta innebär att den parallella visuella informationen i princip måste översättas till en seriell information, vilket tar längre tid att uppleva och blir en större belastning för minnet. Trots detta finns en hel del studier av det som kallas sinnesersättning (sensory substitution). En klassisk referens i sammanhanget är Bach-y-Rita (Bach-y-Rita et al. 1969), som studerade hur det fungerade att överföra generell visuell information från en kamera till en större taktil display som förmedlade taktil information till användarens rygg. En nyare version som bygger på samma typ av idé är BrainPort (Stronks et al. 2016), där informationen istället förs över till användarens tunga. Också ljud har använts i sammanhanget, som i (Hamilton-Fletcher et al. 2022) och med programvaran Seeing with sound1. Denna sorts allmänna sinnes-ersättning har visat sig fungera väl i olika studier, men typiskt är att den typ av visuell information som kan kännas igen inte kan vara för komplex, samt att det i vissa fall kan krävas mycket träning för att uppnå önskad effekt. Sammantaget har detta lett till ett begränsat upptag för tekniken, och vi kommer inte att behandla denna typ av sinnesersättning vidare i denna rapport.

Enklare, mer begränsad, sinnes-ersättning är däremot förhållandevis vanlig. Det kan handla om att översätta en kurva/linje (“SONIFY - Making Graphs Accessible” u.å.), färger (Cavaco et al. 2013) eller geometriskt objekt till ljud och/eller vibration, till exempel finns det ett sätt att lyssna på matematiska kurvor i en mainstream grafisk onlineräknare som heter Desmos2.

1 https://www.seeingwithsound.com/

Gå tillbaka till notreferensen.

2 https://www.desmos.com/calculator

Gå tillbaka till notreferensen.

System för interaktiv bildupplevelse

Digital interaktiv grafik visas på en skärm alternativt projiceras på en yta och utforskas genom att användaren direkt eller indirekt rör vid olika punkter i bilden. Återkoppling sker via ljud och/eller taktilt/haptiskt. I digital interaktiv grafik är informationen digital, och kan uppdateras interaktivt (zoom, förflyttning i bilden, ändrad eller ny bild). Vid direkt utforskande är kontaktpunkten med bilden den egna handen (finger/fingrar) medan kontakten vid indirekt interaktion förmedlas av någon form av pekverktyg, som en mus, joystick, en penna eller ett specialverktyg som Geomagic Touch som ger möjlighet att dynamiskt utforska 3D-objekt (se mer i avsnittet om Haptiska 3-dimensionella gränssnitt).

I vissa fall kan pekverktyget även användas till att ge återkoppling; pennan kan exempelvis vibrera, en joystick, liksom olika specialverktyg, kan ha kraftåterkoppling och en mus kan ha en punktskriftscell på sig och därmed ge information i form av tecken/text. Även tangentbordet kan användas för utforskandet genom att mindre delar av bildinformationen visas när man trycker på en knapp, till exempel används siffertangentbordet i iSonic (Zhao et al. 2008) som beskrivits ovan och vars princip visas i Figur 3.

Pekskärm med sonifiering

I forskningsprojektet AudioFunctions (Taibbi et al. 2014) finns tre olika sätt för användaren att utforska en kurva; appen spelar upp en så kallad sonifiering av hela kurvan (y-värdet motsvaras av tonhöjd), användaren kan utforska kurvan genom att föra fingret längs x-axeln och få en uppspelning i ljud av tillhörande y-värde. Slutligen kan appen ge ljudåterkoppling som hjälper användaren att följa kurvan på skärmen med fingret. I (Gerino et al. 2015) föreslås olika sätt att sonifiera: användaren utforskar i 2D, och får ljudåterkoppling som motsvarar vad som finns under fingret, eller att användaren utforskar längs en axel/linje och får någon sorts ljudinformation som motsvarar vad som finns vinkelrätt mot axeln. I (Yoshida et al. 2011) sonifieras kanter i bilden, men även avståndet till närmaste kant. De utvärderingar som görs i dessa studier, visar att användare kan ta del av enklare grafisk information, som till exempel geometriska former genom en kombination av sonifiering och gest-interaktion.

Pekskärm med vibrationer och talat ljud

Mer direkt är att utforska grafiken direkt via pekskärm på en läsplatta eller en smartphone. Återkoppling via ljud och eventuellt vibration kan då ges beroende på var användaren placerar fingret (Poppinga et al. 2011). Användaren för fingret runt på skärmen, och får återkoppling i form av ljud och/eller vibration när olika objekt passeras. Mängden information som kan förmedlas är begränsad. Ju mer information eller ju tätare objekt ligger på skärmen, desto svårare blir de att särskilja (Poppinga et al. 2011). Mängden information som går att förmedla på detta sätt går att jämföra med en konventionell taktil pappersbild, vilket innebär att det är fingrets storlek som begränsar upplösningen. En studie som gjorts som jämför taktila bilder med en läsplatta med programvara som gör om till exempel cirkeldiagram till vibrationer, ljud och tal slår fast att läsplattan fungerar åtminstone lika bra som taktila bilder på papper (Hahn, Mueller, and Gorlewicz 2019).

Tangentbordsstyrning med alt-text

Det finns också semi-interaktiva system som skapats som exempel på lösningar för att göra vektor-grafik (SVG-filer) tillgängliga med hjälp av uppmärkning av element i olika typer av diagram, till exempel cirkel- och stapel-diagram (Kopel 2021). Dessa fungerar med hjälp av talat ljud där användaren stegar igenom beskrivningen av diagrammet i egen takt och med olika detaljnivå. De kräver dock, precis som i fallet med alttexter, att någon lägger in informationen i förväg, det finns ingen automatisk igenkänning.

Multitouch och andra verktyg

Möjlighet finns att även utnyttja så kallad multitouch, där flera fingrar används för att uppleva den digitala bilden. Detta liknar då ännu mer upplevelsen av en taktil pappersbild, men med möjlighet att lägga till ljud. Risken är dock här att återkopplingen blir rörig och det kan vara svårt för användaren att avgöra vilket finger som vibrationen eller ljudet hör till. I (Delogu et al. 2010) jämfördes utforskande av en karta via pekskärm med utforskande av samma karta med hjälp av tangentbordet. Jämförelsen visade ingen skillnad i hur väl man förstod kartan, däremot tenderade de som använde platta att utforska mer, och även byta riktning på utforskandet oftare. Författarna drar slutsatsen att tangentbordsinteraktionen var kognitivt mer krävande (Delogu et al. 2010). Även i andra lösningar som primärt inte använder tangentbord för själva utforskandet, kan det förekomma att tangentbordet har använts för olika kommandon, ett exempel är zoom eller förflyttning (Magnuson och Rassmus-Gröhn 2003).

Direkt utforskande kan även ske via en penna (ritplatta) eller via andra typer av objekt som flyttas fysiskt, eg. (Pielot et al. 2007). Med ett asymmetriskt objekt där användaren kan känna av hur det är roterat (det är exempelvis svårt att känna av hur en penna är roterad runt sin längdaxel), går det även att interaktivt lyssna på vad som händer vid rotation i ett spatialt ljudlandskap (Pielot et al. 2007).

Joystickar och möss

Joystick kan användas för att utforska virtuella miljöer. Ett problem är att joysticken inte förmedlar någon direkt information om var pekaren befinner sig, förflyttning sker relativt mot var man befinner sig. För den som inte ser, gör detta det svårare att veta var man är, så även om det finns exempel på utformningar som fungerat för utforskande av en virtuell miljö (Picinali et al. 2014), så har inte joystick använts i någon större utsträckning vad gäller interaktion med grafisk information för personer med synnedsättning.

Även datormus kan användas för interaktionen, men precis som för joystick finns det problem för en person med synnedsättning. Även om du styr pekaren genom att flytta musen till olika positioner, så är förflyttningen relativ och det är inte en direkt koppling, dels för att du vanligtvis inte riktigt vet hur långt pekaren flyttas när du flyttar musen, dels för att pekaren inte flyttas om du lyfter musen (Golledge, Rice och Jacobson 2005), något som gör det svårt för en person med synnedsättning att säkert veta var pekaren befinner sig. Det har funnits haptiska datormöss (till exempel WingMan mouse) med fast arbetsutrymme som användes för att utforska kartor och grafiskt material (Golledge, Rice, and Jacobson 2005), men denna typ av produkt har sedan länge försvunnit från marknaden. De hade också ett väldigt litet arbetsområde och en hel datorskärm gav återkoppling på en ca 3×3 cm stor ruta.

Haptiska 3-dimensionella gränssnitt

Direkt utforskande med kraftåterkoppling går att få via haptiska enheter som Geomagic Touch (tidigare the PHANToM). Dessa enheter är gjorda så att de kan förmedla 3D-information, och har vanligtvis endast en kontaktpunkt. Ett undantag är GRAB (Iglesias et al. 2004) som var utformad för två punkter, denna produkt blev dock aldrig någon kommersiell produkt. Även om de främst är utformade för att göra det möjligt att känna på virtuella 3D-modeller, kan de även användas för att skapa virtuella taktila/multimodala bilder (Szymczak et al. 2019), se Figur 5. I och med att denna typ av enheter enbart har en kontaktpunkt med bilden/kartan är det viktigt att systemet är utformat så att det även hjälper användaren att hitta olika typer av referenspunkter, och också ger stöd för att få en överblick genom att till exempel använda talat ljud i kombination med känselåterkoppling.

Figur 5 Principbild av programmet HIPP, som använder en kraftåterkopplande penna för både att rita och att känna med och som spelar både ljudeffekter och talat ljud för extra information.

En person sitter framför en datorskärm och håller i en penna kopplad till en apparat. På skärmen visas en karta. Ovanför skärmen finns en ljudsymbol och en tågsymbol och här anges att namnet på staden Alvesta läses upp. Stadens namn står även i punktskrift.

Punkt-displayer och taktila skärmar

En särskild sorts display som kan presentera taktil information är taktila displayer där rörliga piggar ger möjlighet till interaktiv presentation av taktila mönster.

Tidigare exempel på sådana enheter är OPTACON och VTPlayer. OPTACON kom redan 1971 och slutade tillverkas 1996. VTPlayer gjordes av företaget VirTouch och var en mus med två punktskriftsceller på ovansidan. Inte heller den är längre kommersiellt tillgänglig.

Det vanligaste exemplet här är förstås en punktskriftsdisplay, som används för att återge punktskrift (piggarna finns på de olika 8 positionerna i en punktskriftscell med 8 punkter).

Samma typ av teknik kan användas för att återge bilder och kartor. I ett sådant fall krävs dock en anpassad fördelning av piggarna, en som är mer jämnt fördelad över ytan så att det går att återge olika linjer, kurvor och ytor på ett tillfredsställande sätt, se Figur 6. Ett exempel på en sådan display är HyperBraille3 som användes för att återge kartinformation (Schmitz och Ertl 2012). Ytterligare en existerande taktil display är Orbits Graphiti Plus4, som är en taktil display som kan återge både punktskrift och bilder. Denna typ av teknik är generellt kostsam, och kan dessutom vara relativt tung/klumpig i och med att det handlar om ett delvis mekaniskt system. Dessutom är upplösningen jämfört med en visuell display begränsad, vilket gör att information oftast behöver anpassas för att presentationen ska fungera bra. Detta gäller i princip all taktil presentation av digital information, se exempelvis Taktila kartor – handledning i kartframställning (Eriksson, Jansson och Strucel 2003). Ett flertal projekt och ny teknik för att försöka åstadkomma billigare och bättre taktila skärmar är i skrivande stund aktiva, till exempel EU-projektet Ability5, DotPad6 och Monarch från APH (American Printing House)7.

Figur 6 Principskiss på taktil skärm med 80 * 64 piggar som visar Australien.

Ett rutmönster som är täckt av mörka och ljusa punkter. De mörka punkterna bildar formen av Australien.

3 https://metec-ag.de/en/produkte-graphik-display.php

Gå tillbaka till notreferensen.

4 http://www.orbitresearch.com/product/graphiti-plus/

Gå tillbaka till notreferensen.

5 https://www.ability-project.eu/

Gå tillbaka till notreferensen.

6 https://pad.dotincorp.com/

Gå tillbaka till notreferensen.

7 https://www.aph.org/meet-monarch/

Gå tillbaka till notreferensen.

Hybridsystem

Hybridsystem för presentation av bilder eller kartor innehåller både digitala och fysiska komponenter. En enkel typ av system där fast taktil information kombineras med digital återkoppling utgörs av olika former av taktila överlägg som placeras på en touch-skärm. Ett exempel beskrivs i Kane, Morris, and Wobbrock (2013), medan ett kommersiellt exempel utgörs av Feelif8. I Feelif kombineras det fasta överlägget, som ger en typ av referens för positionering, med vibrationer och ljud.

En annan typ av system är sådana som på olika sätt lägger till digital information till 3D-utskrifter, via taggar/koder, ett exempel utgörs av det som presenteras i (Swaminathan et al. 2016). Typiskt för denna typ av system är att den taktila komponenten är fast (överlägg, 3D-utskrifter eller liknande) och förändringar i innehåll eller skala kan ofta inte göras utan att man byter ut den fysiska komponenten mot en ny, alternativt om den fysiska komponenten är uppbyggd av flyttbara moduler (Schneider och Strothotte 2000) (Ducasse et al. 2016), eller som i Swaminathan et al. (2016) där en modifierad 3D-skrivare interaktivt kan skriva ut nya linjer.

Hybridsystem får information om var användaren utforskar modellen antingen via någon form av pekskärm som känner av fingerpositionen eller via en kamera som känner igen var användarens fingrar/händer befinner sig (Ducasse, Brock, and Jouffrais 2018). I Swaminathan et al. (2016) används till exempel en färgmarkör för att underlätta för kameran att urskilja vilket som är läsfingret.

En möjlighet att interagera och ge tillgång till hybridinformation är så kallad augmented reality (AR), eller förstärkt verklighet. Med hjälp av olika sensorer i mobiltelefonen, som kamera, lägessensorer och annat kan avläsning av rörelser/kroppsposition och igenkänning av bilder, markörer och även olika 3D-objekt låta sig göras. Ett exempel på en sådan applikation presenteras i (Thevin et al. 2021), där AR-teknik används för att tillgängliggöra ett brädspel. Även appen SeeingAI kan sägas vara en typ av AR.

8 https://www.feelif.com/how-feelif-works/

Gå tillbaka till notreferensen.

Presentation av innehåll – icke-visuell återkoppling

Att kombinera flera sinnen ger möjlighet att förmedla mer information. Samtidigt är det viktigt att tänka på att inte alla vill, eller kan, använda alla sinnes-kanaler. I en stökig ljudmiljö kan exempelvis ljud var svårt att använda, i en tyst publik miljö kan man vilja vara mer diskret, och ljudinformation är inte heller tillgänglig för den som är dövblind. Visuell information är ofta svår att hantera för personer med synnedsättning, men samtidigt är det många som har nytta av kompletterande visuell information via exempelvis färger och kontraster. En generell rekommendation är att interaktionen ska fungera även för den som enbart interagerar via ett sinne.

Väl utformad användning av flera sinnen (modaliteter) i interaktionen, kan göra information enklare att ta till sig och förbättra både förståelse och upplevelse. Det finns dock alltid en risk att för mycket information via flera olika sinnen kan överväldiga en användare. Vad som är bra och fungerar beror på person, på situation, men också på vilken information det handlar om, så en annan generell rekommendation är att denna typ av system bör vara anpassningsbara så att det går att välja inställningar som passar det aktuella fallet.

Haptik

Känselsinnet är komplext och innefattar många olika delar som känslan av var kroppen befinner sig (proprioception), känsla av rörelse (kinestesi), känsla av beröring och att vidröra, upplevelse av värme och kyla men också exempelvis smärta. Vanligast när det gäller återkoppling i tekniska system är att använda taktil återkoppling eller kraftåterkoppling. Även om informationsmängden jämfört med vad som går att åstadkomma visuellt fortfarande är begränsad, ger taktil/haptisk återkoppling möjlighet att känna och följa olika linjer och former. Hur känslig huden är skiljer sig på olika delar av kroppen, men varierar också med ålder. Enligt Bruns et al. (2014), anges ofta en känslighet på 1,2–1,7 mm på fingertoppen på unga vuxna, ett värde som ökar till 3,4 mm för äldre personer över 65. Känsligheten på många andra delar av kroppen är betydligt lägre, exempelvis på handflator, arm eller rygg. Vi har två olika receptorer för vibration, Meissner och Pacinian corpuscles. Meissner corpuscles hanterar låga frekvenser (5–50 Hz), medan Pacinian corpuscles tar högre frekvenser och är mest känsliga kring 250 Hz. De frekvenser som vanligen används i exempelvis mobiltelefoner ligger vanligen mellan 130–180 Hz (Miller u.å.). Studier har visat att om man tar hänsyn till att den som använder mobiltelefonen rör på sig är det bättre att ligga högre i frekvens (Yim, Myung, and Lee 2007). Viktigt att tänka på vad gäller vibrationer, är att den som ofta är i kontakt med vibrerande teknik, kan uppleva så kallade ”fantomvibrationer” – det känns som att det vibrerar trots att det inte gör det.

Taktil/haptisk återkoppling kan antingen vara en del av “displayen” (Geomagic Touch, HyperBraille), eller ges via olika fysiska objekt som överlägg, 3D-utskrifter och liknande.

När den taktila/haptiska återkopplingen är dynamisk, spelar det roll hur ofta och hur snabbt detta sker. För en upplevelse av kontinuerlig form (Geomagic Touch) krävs minst 1000 Hz som uppdateringsfrekvens (Kocak 2013).

Att utforska information taktilt

När det gäller avläsning av taktila bilder är det vanligt att den som utforskar en bild använder minst två kontaktpunkter – en för referens och en för att utforska. Till exempel kan en användare ofta placera ett finger på en vald punkt, och sedan utforska vad som finns runt omkring i förhållande till denna punkt (Wijntjes et al. 2008). En del digitala system som Geomagic Touch/The PHANToM tillåter enbart en kontaktpunkt, vilket försvårar processen, även om detta kan kompenseras med multimodal utformning så att användare fortfarande kan hantera förhållandevis komplexa miljöer (Magnusson and Rassmus-Gröhn 2005), (Szymczak et al. 2019). Till utforskandet hör även koordinatsystemet. Detta kan vara egocentriskt (refererat till den egna kroppen) eller allocentriskt (refererat till miljön). En seende får båda via synen, medan känseln primärt är egocentrisk och, till skillnad från synen, begränsad i sin förmåga att hantera samtidig information, vilket gör att en representation av miljön som helhet, som är fristående från var du själv befinner dig (allocentrisk), kognitivt behöver byggas upp efter hand (Ducasse, Brock, and Jouffrais 2018).

Detta innebär att det vanligtvis inte går att direkt översätta visuella bilder till taktila representationer, utan det visuella materialet måste anpassas så att det blir begripligt för den som tar del av det via känseln. Eftersom känseln inte kan hantera lika mycket samtidig information som synen, måste ofta innehållet förenklas för att fungera taktilt.

En annan utmaning vad gäller två-dimensionella bilder och grafik, är att denna typ av representation egentligen är gjord för seende, och de konventioner som finns är utformade utifrån hur seende uppfattar världen.

Den som tar del av världen via känseln, känner i stället föremål i tre dimensioner, och det är inte säkert att de konventioner som upplevs som naturliga för den som ser, är lika naturliga för den som känner. Ett exempel från HIPP-projektet (Szymczak et al. 2019), var när en elev blev ombedd att rita ett hjul, och ritade en rektangel (för den som känner på ett däck framifrån är detta en rimlig representation), medan seende elever vanligtvis ritar cirklar när de blir ombedda att rita hjul.

Ljud

Generellt brukar frekvensområdet 20–20 000 Hz anges för mänsklig hörsel. Vilka frekvenser som går att höra beror på ålder, och för vuxna ligger troligen den övre gränsen snarare kring 15 000 Hz (Purves et al. 2001)

Ofta ges informationen om bilden och bildelementen i talad form, men det finns exempel där man även använder andra typer av ljud: musik, stämningsljud likaväl som en mappning av bildparametrar (som färg eller värde i en kurva) till exempelvis tonhöjd (Taibbi et al. 2014), numera även som webb-verktyg i den visuella grafräknaren Desmos9. I Desmos spelas dessa ljud upp som en sekvens snarare än att de kan utforskas stegvis, vilket skulle ge en möjlighet till mer interaktivitet.

En form av ljudinformation som ofta används är så kallade earcons, som utgörs av en kort sekvens toner (Brewster 1994) och förmedlar information om en händelse (notifikation, återkoppling för knapptryck osv.). En annan möjlighet är att använda symboliska ljudikoner (exempel: ett slurpande ljud kan symbolisera slut på bränsle). Fördelen med earcons är att de kan genereras automatiskt via parametrar, vilket gör det enkelt att skapa många olika earcons. Ljudikoner däremot, måste designas individuellt. Lyckas man bra med utformningen är dock ljudikoner troligen enklare att förstå och komma ihåg än earcons (Garzonis et al. 2009). En annan sorts ljud är sådana som mer är inriktade mot att skapa upplevelser. I BlindTouch (Cho 2021) används exempelvis både musik och olika stämningsljud för att förmedla en upplevelse av ett konstverk, snarare än att beskriva det.

9 https://www.desmos.com/calculator?lang=sv-SE

Gå tillbaka till notreferensen.

Temperatur och doft

Även om det är mindre vanligt, kan temperatur och doft användas för att förmedla information. Det finns studier som har undersökt hur temperatur kan användas för att förmedla känslor, nivå på aktivitet och olika former av avstånd. I Affect Phone (Iwasaki, Miyaki, and Rekimoto 2016) föreslås exempelvis en mobiltelefon som skulle kunna förmedla känslor genom att ändra temperatur. Nakashige et al (2009) visade att olika temperatur kunde påverka upplevelsen av bilder med mat (värme tillsammans med en bild på soppa kunde ge en känsla av hem och kärlek). HeatNav (Tewell, Bird, and Buchanan 2017) visar att indikeringar via temperatur kan vara till nytta vid navigation. I Wilson, Davidson, and Brewster (2015) undersöktes temperatur som mått på aktivitet på sociala medier, närvaro/frånvaro och mängd. Hur temperatur tolkas, beror dock både på omgivningen (värme upplevs exempelvis positivt i en kall omgivning) och våra förväntningar (Lee and Lim 2010). Enligt (Wilson et al. 2011) uppfattas kalla stimuli snabbare, medan varma kan upplevas som mer intensiva. Hur snabbt temperaturen ändras spelar roll, upplevelsen av temperatur anpassar sig till materialet vi är i kontakt med. För varmt eller för kallt orsakar smärta, rekommenderat intervall är 22–42°C (Jones and Berris 2002). Enligt Wilson, Davidson, and Brewster (2015) förknippas värme med aktivitet, närvaro, kvalitet, medan kyla förknippas med frånvaro och dålig kvalitet. Temperatur är ett potentiellt tyst/diskret sätt att ge information, men generellt är den mängd information som kan förmedlas på detta sätt begränsad.

Temperatur kan ändå påverka upplevelser och vara ett intressant komplement till annan information.

Även doft kan användas för att förmedla upplevelser och information. Det är ofta ett svårt medium att arbeta med, eftersom dofter sprids av luften, vilket gör att de påverkas av vind/rörelse i luften. Att det sprids i luft gör också att det finns en fördröjning mellan utsläppandet av ett doftämne och den tidpunkt som det når näsan. Detta gör att de tekniska system som skapas, ofta släpper ut doftämnen nära näsan (Liu et al. 2023). Samtidigt har dofter potential att skapa starka upplevelser, och doft har en välkänd koppling till minnet (Khamsi 2022). Kopplingen kan också framkalla känslor, ibland starka sådana, men den är ofta mycket personlig i och med att den hänger ihop med våra egna upplevelser och minnen. Maggioni (Maggioni et al. 2020) identifierar ändå fyra grundläggande faktorer att tänka på för doft i interaktion: kemiskt innehåll, känslor, rumslig information som plats, riktning eller avstånd, samt temporal information, exempelvis hur lång tid som passerat. Dessa faktorer är något den som utformar interaktion med doft behöver ta hänsyn till, men utgör samtidigt exempel på vad som kan förmedlas via doft. Den som arbetar med doft, måste även ta hänsyn till att användaren vänjer sig vid att det finns en doft (habituering), samt att vissa doftämnen kan framkalla allergier. Precis som temperatur, utgör doft ett möjligt komplement till annan information.

Varken temperatur eller doft används idag för interaktion i kommersiell teknik. Interaktiv teknik som förmedlar av denna typ av upplevelser är fortfarande experimentell/forskningsmässig, och det finns potential för spännande framtida tillämpningar.

Automatisk bildbeskrivning och AI

Traditionellt har bildbeskrivningar skapats av en seende person, som har möjlighet att även tolka bilden, och som kan utforma beskrivningen så att den passar. Bildigenkänning via artificiell intelligens (AI) är en teknik som funnits länge, och som idag är så pass bra att de beskrivningar man får ofta är rimliga, dock inte alltid. Appar som kan ge automatgenererade beskrivningar är SeeingAI (iPhone) och Envision (iPhone och Android).

SeeingAI10 kan läsa upp text, skanna streck-koder, känna igen personer (försöker även uppskatta ålder, kön och sinnesstämning), beskriva en bild, känna igen sedlar, identifiera färger och förmedla information om ljusstyrka. Den kan även beskriva bilder i andra appar. En experimentell funktion låter användaren föra runt fingret i en bild och få automatgenererad information om vad som finns under fingret.

Envision11 kan även den skanna läsa upp text, beskriva bilder, skanna streck-koder och QR koder, och det går också att ”träna” appen så att den hittar specifika objekt med hjälp av kameran (exempelvis ett särskilt föremål eller ansiktet på en viss person).

Envision har också glasögon, vilket innebär att kameran sitter i ögonhöjd och kan ta in allt som man riktar ansiktet mot. I kombination med bildigenkänning och web-sökningar kan då omvärlden annoteras och det är möjligt att upptäcka hinder såväl som att hitta intressanta saker omkring sig. Orcam My Eye12 är en liten kamera som med fördel kan sättas på glasögon. Med programvara i mobiltelefonen kan den läsa upp text, känna igen produkter, sedlar och ansikten med mera.

Bildbehandling med hjälp av filtrering och AI kan till exempel användas för att förenkla bilder som sedan visas antingen via en taktil skärm eller någon typ av sonifiering eller textgenerering. I denna typ av tillämpning omvandlas en bild (eller en video) så att den passar presentationsformen. Detta kan exempelvis handla om att identifiera exempelvis kanter och objekt (Arakeri et al. 2018), eller filtrera bort brus i bilden (DalgIn, Catalbas, and Telatar 2022).

AI system som ChatGPT (“Introducing ChatGPT” u.å.) ger möjlighet för användaren att kommunicera interaktivt, genom att exempelvis ställa frågor. Denna typ av utformning har potential också för bilder, om AI-systemet innehåller bildigenkänning/bildtolkning skulle användaren interaktivt ställa frågor om innehållet i en bild, och på så sätt gradvis bygga upp en förståelse för denna bild.

Även generellt finns mycket fokus på interaktiva glasögon som kan förmedla information om omgivningen. Google började med Google glass, och Apple håller precis på att lansera sina nya AR-glasögon.

10 https://apps.apple.com/se/app/seeing-ai/id999062298

Gå tillbaka till notreferensen.

11 https://www.letsenvision.com/envision-app

Gå tillbaka till notreferensen.

12 https://www.icap.nu/butik/orcam-myeye-smart-grundpaket/

Gå tillbaka till notreferensen.

Teknik för input – hur vet tekniken var du är?

Pekskärm har använts tillsammans med olika sorters återkoppling i många olika studier. I Taylor et al. (2016) kombinerades en pekskärm, med överlägg bestående av 3D-utskrifter som även innehåller ledande element. LucentMaps i (Götzelmann 2018) använde 3D-utskrifter som innehöll markörer för att koppla överlägget till touch-skärmen. I TalkingTactileTablet (Landau and Gourgey 2001) kombineras tunnare och flexibla taktila överlägg med en tryckkänslig touch-skärm. MapSense (Brule et al. 2016) använder en touchskärm med både taktila överlägg och flyttbara 3D-objekt med ledande material på undersidan, där den taktila informationen kompletterades med ljud, men kunde även kombineras med doft och smak. I Holloway, Marriott, and Butler (2018) jämförs 3D-utskrifter med mer traditionell taktil grafik, och det visade sig att användarna klart föredrog 3D-utskrifter. De beskriver även hur de via inbyggda “touch-punkter” målade med ledande färg (kopplade till en minidator), kunde lägga till ljudåterkoppling till 3D-modellerna. Det finns exempel på system för museer, som består av ett taktilt överlägg över en touchskärm, exempelvis Talking Tactile Exhibit Panel (Talking Tactile Exhibit Panel, u.å.), där användaren får olika typer av talad återkoppling beroende på var hen rör vid bilden.

Det finns relativt gott om exempel på specialbyggda system för muséer, vi ger i det följande ett urval av exempel. Information på mobilen som hjälper användaren att navigera i museet, kombinerat med 3D-objekt med sensorer används i Anagnostakis et al. (2016) för att ge tillgång till utställningsföremål via ljud och känsel. Ett specialbyggt objekt med tryck-sensorer och en minidator som används för att ge multimodal återkoppling (ljud och bild) vid taktilt utforskande i ett museum beskrivs av Vaz, Fernandes, and Veiga (2018). Ytterligare ett specialbyggt objekt som använder 2,5D (upphöjd relief) målad med ledande färg, för att ge användaren möjlighet att utforska ett konstverk beskrivs i Cavazos Quero et al. (2018). Återkopplingen här är i form av ljud, men också vind, värme och luftfuktighet (luftfuktare). Olika gester (tryck en, två eller tre gånger) ger olika typer av återkoppling. Liknande input (relief med ledande färg) men med enbart ljudåterkoppling används i Iranzo Bartolome et al. (2019). I detta fall används olika gester (antal tryck), men det finns även möjlighet att använda röstkommandon för att få information från systemet. Typiskt för denna typ av system är att de ofta bygger på en minidator, och har någon form av sensor för att känna av var användaren trycker.

Tooteko är ett system som består av en interaktiv ring du har på ett finger, NFC-taggar (NFC, Near Field Communication, är den teknik som används i många passersystem där du håller upp ett kort mot en läsare, eller när du blippar ditt betalkort) och en app (D’Agnano et al. 2015). Ringen känner av NFC-taggarna och kommunicerar med appen så att användaren får relevant återkoppling via ljud.

Olika typer av kameror kan användas för att hålla reda på var användaren befinner sig med hjälp av bildbehandling. CamIO (Shen et al. 2013) använder information från en Kinect-kamera för att veta var användaren pekar på ett objekt, och ger talad ljudåterkoppling vid olika ställen på objektet. I Baker et al. (2016) användes mobilens kamera för att se var användarens fingrar befann sig, kombinerat med läsning av QR-koder för text, för att ge ljudåterkoppling vid utforskande av taktil grafik. “The Tactile Graphics Helper” (Fusco and Morash 2015), använder en fast kamera för att veta var användarens fingrar befinner sig, för att kunna komplettera taktil grafik med talade beskrivningar. En avståndskamera (Intel RealSense F200) används i Reichinger et al. (2018) för att känna igen gester, så att användaren kan få ljudåterkoppling till en taktil relief.

I augmented reality (AR) används kamera och bildbehandling/bildigenkänning (AI) bland annat för att identifiera var användarens händer befinner sig (Moon, Orr, and Jeon 2022), och för att följa hur hela personen rör sig. Funktionalitet som automatiskt följer en persons rörelse, så kallad motion capture, finns numera inbyggt i programvara som används för att programmera appar i både ARKit för iPhone (Orvain, Emmanuel, u.å.) och ARCore för Android. Det finns även idag funktioner inbyggda i programmeringsverktyg för AR som analyserar och följer ansiktsuttryck, exempelvis om munnen är öppen eller stängd, om ögonen är öppna/slutna, om personen räcker ut tungan etc. (Magnusson 2022).

Skapa egna digitala bilder

För att kunna förstå bilder, oavsett om det är genom att haptiskt utforska dem eller få dem beskrivna med bildbeskrivningar, är det fördelaktigt att kunna skapa dem själv. Det finns ett antal traditionella verktyg såsom ritmuff och vaxsnören. Dock finns det hittills få eller inga kommersiella lösningar som ger möjlighet att skapa bilder på ett enkelt sätt med ett digitalt verktyg. Orbits Graphiti Plus13 ska inte bara kunna visa bilder på en taktil skärm utan är också tryckkänslig. Detta innebär att det är möjligt att rita med fingrarna på plattan vilket åstadkommer att de enskilda punktcellerna höjer sig och på så vis kan man rita en linje, som också blir en representation i datorn som kan sparas.

Några forskningsprojekt har också tagit fram verktyg med vilka det är möjligt att rita med gester, som till exempel HIPP (Szymczak et al. 2019), baserade på en kraftåterkopplande hårdvara, så kallad ritrobot (the PHANToM/Geomagic Touch), och ett datorprogram. Dessa baseras på haptik och ljud och ger liksom ovan omedelbar feedback utan att man behöver skriva ut emellan. HIPP anpassades också till JAWS och testades i några skolor under åren 2009–2012. Just det här att själv kunna skapa bilder visade sig viktigt för att lära sig tolka taktila bilder mer allmänt, i och med att barn med synnedsättning då får möjlighet att utveckla sin förståelse för 2-dimensionella bilder på liknande sätt som seende barn (Björk, Karolina, u.å.).

Andra lösningar baseras på kommando-baserad konstruktion av bilder, till exempel genom att stega igenom delar av en rityta (3×3 rutor som kan delas in i ytterligare mindre delar). Informationen om bilden och vad som ritas ges till användaren via ljud (Kamel and Landay 1999)

Forskare i Japan har under tidigt 2000-tal gjort en grafisk editor för 2D-kurvor som kombinerar styrning med joystick och knappar med att få bilden representerad på en taktil display och markera i denna med en ultraljudspenna för att få djupare information via ljud (Nishi and Fukuda 2006).

13 http://www.orbitresearch.com/product/graphiti-plus/

Gå tillbaka till notreferensen.

Utformning av innehåll

Generellt är det viktigt att anpassa den information som ska förmedlas till det sinne som används för att ta emot och utforska materialet. Känselsinnets förmåga att hantera samtidig information är som sagt begränsad jämfört med synen, och taktila bilder bör inte vara för komplicerade. Mer information om taktila bilder finns på Punktskriftsnämndens webbplats (”Taktila bilder” u.å.). Konturer är viktigt, liksom användandet av olika texturer för att göra det enklare att känna skillnad på olika delar i en bild. Jansson (2005) påpekar att det ska gå att urskilja vad som är centralt, och vad som hör till bakgrunden, och ger följande rekommendationer:

Håll bilden enkel och ta bara med de viktigaste elementen

Använd inte onödiga detaljer

Håll former enkla, undvik utsmyckningar

Dela upp komplexa figurer i en serie av bilder

Markera karakteristiska element i objekten/djuren/personerna

Se till att utmärkande detaljer går att känna

Visa hela objekten/djuren/personerna

Även när det handlar om vibrationer, är det svårt att hantera mycket samtidig information. Det har visat sig att redan vid tre samtidiga vibrationer (på olika punkter på huden) börjar det bli svårt att känna exakt hur många punkter det faktiskt är som vibrerar (Gallace, Tan, and Spence 2006).

En tumregel för seende personer som arbetar med taktilt material är att också känna på materialet utan att samtidigt använda synen, eftersom sådant som kan se enkelt ut visuellt inte nödvändigtvis behöver vara lika enkelt att känna.

Kompletterande information i form av ljud, eller möjligtvis text, kan spela stor roll. Det är betydligt enklare att förstå en taktil bild för den som vet vad bilden föreställer (Magnusson et al., u.å.). Olika ljud, talad information eller text som kommer vid beröring av olika objekt, eller element i en taktil bild gör det enklare att förstå vad det är du är kontakt med, och gör det därmed enklare att bygga upp en förståelse av bilden som helhet, (Giraud et al. 2017), (Szymczak et al. 2019). När det gäller information som är tänkt att samverka, spelar avståndet roll, i både tid och rum (Lewald and Guski 2003). För långa fördröjningar kan påverka förståelsen negativt. Exempelvis om du rör vid ett objekt och det tillhörande ljudet inte kommer förrän senare, kanske inte förrän du hunnit gå vidare till nästa objekt, är detta inte till särskilt mycket hjälp. När det handlar om information som är tänkt att höra ihop presenteras spatialt, blir kopplingen vanligtvis tydligare när avståndet är mindre.

När olika modaliteter kombineras, är det viktigt att tänka på att det inte blir för mycket parallell information. Precis som känselsinnet, har hörseln begränsad förmåga att hantera samtidig information. Det är också viktigt att ta hänsyn till att olika personer har olika förmågor, men även olika preferenser, när det gäller att hantera olika modaliteter.

Ett sätt att omvandla visuell (samtidig) information är att omvandla den till en sekvens – en kurva kan exempelvis omvandlas till en sekvens av ljud. Detta ställer krav på minnet, och för all sekventiell information bör det gå att upprepade gånger navigera genom sekvensen, så att det är möjligt att kontrollera vad det fanns för information vid olika tidpunkter i sekvensen.

Även när det gäller beskrivningar finns det en del att tänka på. En beskrivning innebär alltid en tolkning, och introducerar därmed någon form av bias. Den som verkligen vill göra en egen tolkning behöver ha tillgång till underliggande data. Långa beskrivningar kan också vara svåra att komma ihåg; när det handlar om komplexa data fungerar det oftast bättre att dela upp informationen. I (Siu et al. 2022) studerades hur man bäst kombinerar sonifiering av kurvor med beskrivande information, och det som visade sig fungera bäst var att blanda beskrivning och sonifiering så att det mer blev ett narrativ (i stället för att ha all beskrivning först).

Shneiderman (1996) har föreslagit följande ”mantra” för visuell information: överblick först, zoom och filtrering och sedan mer detaljinformation när detta behövs. Zhao föreslår med utgångspunkt i detta följande sätt att söka information när det handlar om ljudinformation (Zhao 2006):

få överblick

kunna navigera i informationen

orientera sig (”var är jag”)

söka efter något specifikt

filtrera ut det som är relevant (och filtrera bort irrelevant information)

kunna få mer information/mer detaljer och även justera nivån för hur mycket information som önskas

kunna välja ut och manipulera delar av informationen

Även för taktil information är detta viktigt. Det finns dessutom en koppling mellan att välja nivå/navigera och att orientera sig. För alla, men särskilt för den som inte ser kan det vara svårt att veta exakt vad som visas (”var man är”) efter exempelvis en zoomning. En lösning på detta problem är att se till att en referenspunkt som användaren är i kontakt med är på samma ställe i bilden/modellen/materialet (Magnusson, Gutierrez, and Rassmus-Gröhn, u.å.).

Graden av interaktivitet påverkar förståelsen. Som exempel, det är skillnad på att:

få en lång bildbeskrivning först, för att sedan utforska den beskrivna bilden taktilt

kunna stega sig igenom beskrivningen, och utforska det beskrivna efter varje steg

fritt kunna utforska och få samtidiga beskrivningar av det som du är i kontakt med i bilden

När det gäller taktila presentationer, spelar det även roll om materialet är fast (fasta modeller, 3D-utskrifter) eller om det kan uppdateras. Displayer som Orbits Graphiti, eller Geomagic Touch kan förändras och uppdateras interaktivt och kontinuerligt, men det finns även möjlighet att arbeta med utbytbara ”block”, överlägg eller liknande, i sig fasta komponenter, för att genom att byta ut eller kombinera komponenterna på nya sätt, åstadkomma viss förändring.

När det handlar om utforskande av taktilt material, spelar antalet kontaktpunkter roll – fler kontaktpunkter ger möjlighet att förmedla mer samtidig information. Utsträckningen av kontakten spelar också roll, går det att känna med en hel fingertopp, eller är det bara en punkt som är i kontakt med materialet, vilket är fallet med Geomagic Touch (Jansson and Monaci 2006). Även en större kontaktyta tillåter presentation av mer samtidig information.

Vart är vi på väg?

Något som går att se redan nu, är att automatisk igenkänning av bilder (AI) kommer att kunna spela en allt större roll, i takt med att igenkänningen blir bättre. Redan idag finns appar (SeeingAI, Envision) som automatiskt kan förmedla olika typer av visuell information, även om träffsäkerheten inte är 100 %. AI-tekniken ger även potentiellt en möjlighet till att interaktivt ställa frågor och kommunicera med det digitala systemet om vad som syns i en bild, en karta eller ett diagram.

Att bära med sig AI i fickan som med en mobiltelefon kan göra det möjligt att använda denna till att söka ut information med hjälp av kameran. Nästa steg kan vara smarta glasögon14 eller AR-glasögon där det sitter kameror vid ögonen, som Google glass 215. Dessa möjliggör då exempelvis att en användare kan peka på en detalj med fingret, och därmed få interaktiv beskrivning av omvärlden i stället för att få allt på en gång.

Det finns en mängd hörlurar med brusreducering (eller Noise Cancelling, NC) och även med selektiv genomsläppning av omgivningsljud som gör att trafikljud eller andra viktiga omgivningsljud inte stängs ute samtidigt som det går att få navigationsinformation eller information om föremål och platser.

Interaktiva taktila displayer har länge stått på önskelistan. Det finns idag fungerande system, som tyvärr fortfarande generellt är kostsamma. I och med att det pågår utveckling på området, är vår förhoppning att det så småningom kommer olika former av taktila displayer till mer överkomligt pris. I takt med att tekniken blir mer spridd, kommer också kunskapen om hur olika typer av visuellt material bäst presenteras på denna typ av displayer att öka.

Möjligheten att skriva ut i 3D ökar också möjligheten att skapa olika former av taktila material och modeller. Detta används redan, och utgör även en byggsten som kan användas vid utformning av framtida system. Organisationer och myndigheter som arbetar med tillgänglighet och med att ta fram tillgängligt material, skulle egentligen behöva teknisk kompetens och ett “labb” som arbetar med att testa och ta fram nya tekniker proaktivt. Även om själva tillverkningen av material sedan kan behöva outsourcas, behövs gedigen kompetens in-house för att bedöma kvaliteten och att hålla sig à jour med den senaste tekniken. Det är orimligt att ett litet land som Sverige ska ta fram egna lösningar för allt, men kunskapen behöver finnas, och vissa anpassningar (exempelvis av språk) kommer också att behöva göras.

14 https://www.popsci.com/reviews/best-smart-glasses/

Gå tillbaka till notreferensen.

15 https://www.google.com/glass/start/

Gå tillbaka till notreferensen.

Slutsatser

Den teknik och det urval av interaktiva möjligheter som används för att ta del av interaktiva bildbeskrivningar kan utformas på olika sätt. Viss interaktivitet går att åstadkomma genom att dela upp materialet, och ge användaren möjlighet att på olika sätt stega sig igenom informationen. Detta kan ske sekventiellt (det vill säga elementen kommer i en bestämd ordning), eller genom att användaren mer fritt väljer ut det element hen är intresserad av. Mer interaktivitet finns i utformningar som tillåter användaren att kontinuerligt och fritt utforska materialet. Väsentligt att tänka på är möjligheten att målgruppen även ska kunna skapa själv eller markera, redigera eller göra annoteringar. Det handlar inte bara om att utforska något befintligt, att själv kunna skapa ger utökade möjligheter till interaktion, kommunikation och förståelse.

Viktigt att tänka på vid utformningen, är att presentationen anpassas för att fungera för det sinne som ska användas. Känsel och hörsel, men exempelvis även doft och temperatur har alla sina särskilda möjligheter och begränsningar. Att kombinera olika sinnen eller modaliteter kan ge möjlighet att förmedla mer information, men det är samtidigt viktigt att tänka på att se till att den som av olika anledningar inte kan hantera någon av modaliteterna, ändå kan få tillgång till informationen.

Teknikutvecklingen går ofta fort. Just nu är utvecklingen av AI-tekniken i fokus, och detta är ett område som har stor potential vad gäller skapandet av både statiska och interaktiva bildbeskrivningar. Samtidigt sker också mycket annan relevant teknikutveckling som den som arbetar med tillgänglighet, och utformning av tillgängliga material, bör hålla sig a jour med.

Referenser

Anagnostakis, Giorgos, Michalis Antoniou, Elena Kardamitsi, Thodoris Sachinidis, Panayiotis Koutsabasis, Modestos Stavrakis, Spyros Vosinakis, and Dimitris Zissis. 2016. “Accessible Museum Collections for the Visually Impaired: Combining Tactile Exploration, Audio Descriptions and Mobile Gestures.” In Proceedings of the 18th International Conference on Human-Computer Interaction with Mobile Devices and Services Adjunct, 1021–25. MobileHCI ’16. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2957265.2963118.

Arakeri, Megha P., N.S. Keerthana, M. Madhura, Anusha Sankar, and Tazeen Munnavar. 2018. “Assistive Technology for the Visually Impaired Using Computer Vision.” In 2018 International Conference on Advances in Computing, Communications and Informatics (ICACCI), 1725–30. https://doi.org/10.1109/ICACCI.2018.8554625.

Bach-y-Rita, Paul, Carter C. Collins, Frank A. Saunders, Benjamin White, and Lawrence Scadden. 1969. “Vision Substitution by Tactile Image Projection.” Nature 221 (5184): 963–64. https://doi.org/10.1038/221963a0.

Baker, Catherine M., Lauren R. Milne, Ryan Drapeau, Jeffrey Scofield, Cynthia L. Bennett, and Richard E. Ladner. 2016. “Tactile Graphics with a Voice.” ACM Trans. Access. Comput. 8 (1). https://doi.org/10.1145/2854005.

Björk, Karolina. u.å. “Multimodala Bilder – Rita, Känna, Lyssna Och Uppleva.” http://hipp.certec.lth.se/pdf/multimodalabilder.pdf.

Brewster, Stephen Anthony. 1994. “Providing a Structured Method for Integrating Non-Speech Audio into Human-Computer Interfaces.” In.

Brule, Emeline, Gilles Bailly, Anke Brock, Frederic Valentin, Grégoire Denis, and Christophe Jouffrais. 2016. “MapSense: Multi-Sensory Interactive Maps for Children Living with Visual Impairments.” In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, 445–57. CHI ’16. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2858036.2858375.

Bruns, Patrick, Carlos J. Camargo, Humberto Campanella, Jaume Esteve, Hubert R. Dinse, and Brigitte Röder. 2014. “Tactile Acuity Charts: A Reliable Measure of Spatial Acuity.” PLoS ONE 9 (2): e87384. https://doi.org/10.1371/journal.pone.0087384.

Cavaco, Sofia, J. Tomás Henriques, Michele Mengucci, Nuno Correia, and Francisco Medeiros. 2013. “Color Sonification for the Visually Impaired.” Procedia Technology, CENTERIS 2013 – Conference on ENTERprise Information Systems / ProjMAN 2013 – International Conference on Project MANagement/ HCIST 2013 – International Conference on Health and Social Care Information Systems and Technologies, 9 (January): 1048–57. https://doi.org/10.1016/j.protcy.2013.12.117.

Cavazos Quero, Luis, Jorge Iranzo Bartolomé, Seonggu Lee, En Han, Sunhee Kim, and Jundong Cho. 2018. “An Interactive Multimodal Guide to Improve Art Accessibility for Blind People.” In Proceedings of the 20th International ACM SIGACCESS Conference on Computers and Accessibility, 346–48. ASSETS ’18. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3234695.3241033.

Chen, Dapeng, Jia Liu, Lei Tian, Xuhui Hu, and Aiguo Song. 2021.

“Research on the Method of Displaying the Contour Features of Image to the Visually Impaired on the Touch Screen.” IEEE Transactions on Neural Systems and Rehabilitation Engineering 29: 2260–70. https://doi.org/10.1109/TNSRE.2021.3123394.

Cho, Jun Dong. 2021. “A Study of Multi-Sensory Experience and Color Recognition in Visual Arts Appreciation of People with Visual Impairment.” Electronics 10 (4). https://doi.org/10.3390/electronics10040470.

D’Agnano, F., C. Balletti, F. Guerra, and P. Vernier. 2015. “Tooteko: A case study of augmented reality for an accessible cultural heritage. Digitization, 3D printing and sensors for an audio-tactile experience.” The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences XL-5/W4: 207–13. https://doi.org/10.5194/isprsarchives-XL-5-W4-207-2015.

DalgIn, Abdulkadir, Mehmet Cem Catalbas, and Ziya Telatar. 2022. “A Novel Framework to Electro-Tactile Display Systems for the Blind and Visually Impaired.” In 2022 International Congress on Human-Computer Interaction, Optimization and Robotic Applications (HORA), 1–4. https://doi.org/10.1109/HORA55278.2022.9799893.

Delogu, Franco, Massimiliano Palmiero, Stefano Federici, Catherine Plaisant, Haixia Zhao, and Olivetti Belardinelli. 2010. “NonVisual Exploration of Geographic Maps: Does Sonification Help?” Disability and Rehabilitation: Assistive Technology 5 (3): 164–74. https://doi.org/10.3109/17483100903100277.

“DERi, la surface interactive.” u.å. Cherchons pour voir (blog). Accessed June 28, 2023. https://cherchonspourvoir.org/projet/nosprojets/deri-la-surface-interactive/.

Ducasse, Julie, Anke M. Brock, and Christophe Jouffrais. 2018. “Accessible Interactive Maps for Visually Impaired Users.” In Mobility of Visually Impaired People: Fundamentals and ICT Assistive Technologies, edited by Edwige Pissaloux and Ramiro Velazquez, 537–84. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-54446-5_17.

Ducasse, Julie, Marc J-M Macé, Marcos Serrano, and Christophe Jouffrais. 2016. “Tangible Reels: Construction and Exploration of Tangible Maps by Visually Impaired Users.” In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, 2186–97. CHI ’16. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2858036.2858058.

Eriksson, Yvonne, Jansson, Gunnar, and Strucel, Monica. 2003. Taktila kartor – handledning i kartframställning. https://www.mtm.se/contentassets/6d89b81b177745f89624f84f2 d1c2e2d/taktila_kartor_svenska.pdf.

Fusco, Giovanni, and Valerie S. Morash. 2015. “The Tactile Graphics Helper: Providing Audio Clarification for Tactile Graphics Using Machine Vision.” In Proceedings of the 17th International ACM SIGACCESS Conference on Computers &amp; Accessibility, 97–106. ASSETS ’15. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2700648.2809868.

Gallace, Alberto, Hong Z. Tan, and Charles Spence. 2006. “Numerosity Judgments for Tactile Stimuli Distributed over the Body Surface.” Perception 35 (2): 247–66. https://doi.org/10.1068/p5380.

Garzonis, Stavros, Simon Jones, Tim Jay, and Eamonn O’Neill. 2009. “Auditory Icon and Earcon Mobile Service Notifications: Intuitiveness, Learnability, Memorability and Preference.” In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 1513–22. CHI ’09. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/1518701.1518932.

Gerino, Andrea, Lorenzo Picinali, Cristian Bernareggi, Nicolò Alabastro, and Sergio Mascetti. 2015. “Towards Large Scale Evaluation of Novel Sonification Techniques for Non Visual Shape Exploration.” In Proceedings of the 17th International ACM SIGACCESS Conference on Computers &amp; Accessibility, 13–21. ASSETS ’15. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2700648.2809848.

Giraud, Stéphanie, Anke M. Brock, Marc J.-M. Macé, and Christophe Jouffrais. 2017. “Map Learning with a 3D Printed Interactive Small-Scale Model: Improvement of Space and Text Memorization in Visually Impaired Students.” Frontiers in Psychology 8. https://www.frontiersin.org/articles/10.3389/fpsyg.2017.00930.

Golledge, Reginald G., Matthew Rice, and R. Daniel Jacobson. 2005. “A Commentary on the Use of Touch for Accessing On-Screen Spatial Representations: The Process of Experiencing Haptic Maps and Graphics.” The Professional Geographer 57 (3): 339–49. https://doi.org/10.1111/j.0033-0124.2005.00482.x.

Götzelmann, T. 2018. “Visually Augmented Audio-Tactile Graphics for Visually Impaired People.” ACM Trans. Access. Comput. 11 (2). https://doi.org/10.1145/3186894.

Hahn, Michael E., Corrine M. Mueller, and Jenna L. Gorlewicz. 2019. “The Comprehension of STEM Graphics via a Multisensory Tablet Electronic Device by Students with Visual Impairments.” Journal of Visual Impairment & Blindness 113 (5): 404–18. https://doi.org/10.1177/0145482X19876463.

Hamilton-Fletcher, Giles, James Alvarez, Marianna Obrist, and Jamie Ward. 2022. “SoundSight: A Mobile Sensory Substitution Device That Sonifies Colour, Distance, and Temperature.” Journal on Multimodal User Interfaces 16 (1): 107–23. https://doi.org/10.1007/s12193-021-00376-w.

Holloway, Leona, Kim Marriott, and Matthew Butler. 2018. “Accessible Maps for the Blind: Comparing 3D Printed Models with Tactile Graphics.” In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, 1–13. CHI ’18. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3173574.3173772.

Iglesias, R., S. Casado, T. Gutierrez, J.I. Barbero, C.A. Avizzano, S. Marcheschi, and M. Bergamasco. 2004. “Computer Graphics Access for Blind People through a Haptic and Audio Virtual Environment.” In The 3rd IEEE International Workshop on Haptic, Audio and Visual Environments and Their Applications, 13–18. https://doi.org/10.1109/HAVE.2004.1391874.

“Introducing ChatGPT.” u.å. Accessed June 29, 2023. https://openai.com/blog/chatgpt.

Iranzo Bartolome, Jorge, Luis Cavazos Quero, Sunhee Kim, Myung-Yong Um, and Jundong Cho. 2019. “Exploring Art with a Voice Controlled Multimodal Guide for Blind People.” In Proceedings of the Thirteenth International Conference on Tangible, Embedded, and Embodied Interaction, 383–90. TEI ’19. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3294109.3300994.

Iris Hjälpmedel. 2023. “Penny Talks.” https://fks.org.se/produkter/penny-talks-etikettlasaremarkningspenna/.

Iwasaki, Ken, Takashi Miyaki, and Jun Rekimoto. 2016. “AffectPhone: A Handset Device to Present User’s Emotional State with Warmth/Coolness.” In Bio-Inspired Human-Machine Interfaces and Healthcare Applications.

Jansson, Gunnar. 2005. “Two Recommendations for Tactile/Haptic Displays: One for All Kinds of Presentations and One for the Development of Haptic Displays.” In.

Jansson, Gunnar, and Linda Monaci. 2006. “Identification of Real Objects under Conditions Similar to Those in Haptic Displays: Providing Spatially Distributed Information at the Contact Areas Is More Important than Increasing the Number of Areas.” Virtual Reality 9 (April): 243–49. https://doi.org/10.1007/s10055-006-0021-y.

Jones, L.A., and M. Berris. 2002. “The Psychophysics of Temperature Perception and Thermal-Interface Design.” In Proceedings 10th Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems. HAPTICS 2002, 137–42. https://doi.org/10.1109/HAPTIC.2002.998951.

Kamel, Hesham M., and James A. Landay. 1999. “The Integrated Communication 2 Draw (IC2D): A Drawing Program for the Visually Impaired.” In CHI ’99 Extended Abstracts on Human Factors in Computing Systems, 222–23. CHI EA ’99. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/632716.632854.

Kane, Shaun K., Meredith Ringel Morris, and Jacob O. Wobbrock. 2013. “Touchplates: Low-Cost Tactile Overlays for Visually Impaired Touch Screen Users.” In Proceedings of the 15th International ACM SIGACCESS Conference on Computers and Accessibility. ASSETS ’13. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2513383.2513442.

Khamsi, Roxanne. 2022. “Unpicking the Link between Smell and Memories.” Nature 606 (7915): S2–4. https://doi.org/10.1038/d41586-022-01626-x.

Kocak, Umut. 2013. “Haptic Interaction with Deformable Objects.” https://urn.kb.se/resolve?urn=urn:nbn:se:liu:diva-92804.

Kopel, Christopher Alexander. 2021. “Accessible SVG Charts with AChart Creator and AChart Interpreter.” Master (2 years), Graz: Graz University ofTechnology. https://diglib.tugraz.at/download.php?id=61541cb534daa&locat ion=browse.

Landau, Steven, and Karen Gourgey. 2001. “Development of a Talking Tactile Tablet.” Information Technology and Disabilities 7.

Lee, Wonjun, and Youn-kyung Lim. 2010. “Thermo-Message: Exploring the Potential of Heat as a Modality of Peripheral Expression.” In CHI ’10 Extended Abstracts on Human Factors in Computing Systems, 4231–36. CHI EA ’10. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/1753846.1754131.

Lewald, Jörg, and Rainer Guski. 2003. “Cross-Modal Perceptual Integration of Spatially and Temporally Disparate Auditory and Visual Stimuli.” Cognitive Brain Research 16 (3): 468–78. https://doi.org/10.1016/S0926-6410(03)00074-0.

Lim, Kah Yong, and Yean Li Ho. 2021. “NFC Label Tagging Smartphone Application for the Blind and Visually Impaired in IoT.” In Information Science and Applications, edited by Hyuncheol Kim, Kuinam J. Kim, and Suhyun Park, 305–15. Singapore: Springer Singapore.

Liu, Yiming, Chun Ki Yiu, Zhao Zhao, Wooyoung Park, Rui Shi, Xingcan Huang, Yuyang Zeng, et al. 2023. “Soft, Miniaturized, Wireless Olfactory Interface for Virtual Reality.” Nature Communications 14 (1): 2297. https://doi.org/10.1038/s41467-023-37678-4.

Maggioni, Emanuela, Robert Cobden, Dmitrijs Dmitrenko, Kasper Hornbæk, and Marianna Obrist. 2020. “SMELL SPACE: Mapping out the Olfactory Design Space for Novel Interactions.” ACM Transactions on Computer-Human Interaction 27 (5): 36:1-36:26. https://doi.org/10.1145/3402449.

Magnuson, Charlotte, and Kirsten Rassmus-gröhn. 2003. “Non-Visual Zoom and Scrolling Operations in a Virtual Haptic Environment.” In Proc. Eurohaptics 2003.

Magnusson, Charlotte. 2022. “Augmented Reality Face Recognition for Musical Interaction.” In. London.

Magnusson, Charlotte, Teresa Gutierrez, and Kirsten Rassmus-Gröhn. u.å. “Test of Pan and Zoom Tools in Visual and Non-Visual Audio Haptic Environments.”

Magnusson, Charlotte, and Kirsten Rassmus-Gröhn. 2005. “A Virtual Traffic Environment for People with Visual Impairment.” Visual Impairment Research 7 (1): 1–12. https://doi.org/10.1080/13882350490907100.

Magnusson, Charlotte, Kirsten Rassmus-Gröhn, Calle Sjöström, and Henrik Danielsson. u.å. “Navigation and Recognition in Complex Haptic Virtual Environments – Reports from an Extensive Study with Blind Users.”

Miller, Greg. u.å. “What’s Up With That? Phantom Cellphone Vibrations.” Wired. Accessed June 28, 2023. https://www.wired.com/2014/09/whats-phantom-cellphonevibrations/.

Moon, Hye Sung, Grady Orr, and Myounghoon Jeon. 2022. “Hand Tracking with Vibrotactile Feedback Enhanced Presence, Engagement, Usability, and Performance in a Virtual Reality Rhythm Game.” International Journal of Human–Computer Interaction, June, 1–12. https://doi.org/10.1080/10447318.2022.2087000.

Nakashige, Mutsuhiro, Minoru Kobayashi, Yuriko Suzuki, Hidekazu Tamaki, and Suguru Higashino. 2009. “‘Hiya-Atsu’ Media: Augmenting Digital Media with Temperature.” In CHI ’09 Extended Abstracts on Human Factors in Computing Systems, 3181–86. CHI EA ’09. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/1520340.1520453.

Nishi, Atsushi, and Ryoji Fukuda. 2006. “Graphic Editor for Visually Impaired Users.” In Computers Helping People with Special Needs, edited by Klaus Miesenberger, Joachim Klaus, Wolfgang L. Zagler, and Arthur I. Karshmer, 1139–46. Berlin, Heidelberg: Springer Berlin Heidelberg.

Orvain, Emmanuel. u.å. “How to Use Motion Capture on ARKit to Compute Posture Angle.” Medium.Com (blog). https://eorvainapp.medium.com/how-to-use-motion-capture-on-arkit-tocompute-posture-angle-c73d0a7f9bb3.

Picinali, Lorenzo, Amandine Afonso, Michel Denis, and Brian F. G. Katz. 2014. “Exploration of Architectural Spaces by Blind People Using Auditory Virtual Reality for the Construction of Spatial Knowledge.” International Journal of Human-Computer Studies 72 (4): 393–407. https://doi.org/10.1016/j.ijhcs.2013.12.008.

Pielot, Martin, Niels Henze, Wilko Heuten, and Susanne Boll. 2007. “Tangible User Interface for the Exploration of Auditory City Maps.” In Haptic and Audio Interaction Design, edited by Ian Oakley and Stephen Brewster, 86–97. Berlin, Heidelberg: Springer Berlin Heidelberg.

Poppinga, Benjamin, Charlotte Magnusson, Martin Pielot, and Kirsten Rassmus-Gröhn. 2011. “TouchOver Map: Audio-Tactile Exploration of Interactive Maps.” In Proceedings of the 13th International Conference on Human Computer Interaction with Mobile Devices and Services, 545–50. MobileHCI ’11. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2037373.2037458.

Purves, Dale, George J. Augustine, David Fitzpatrick, Lawrence C. Katz, Anthony-Samuel LaMantia, James O. McNamara, and S. Mark Williams. 2001. “The Audible Spectrum.” In Neuroscience. 2nd Edition. Sinauer Associates. https://www.ncbi.nlm.nih.gov/books/NBK10924/.

Reichinger, Andreas, Helena Garcia Carrizosa, Joanna Wood, Svenja Schröder, Christian Löw, Laura Rosalia Luidolt, Maria Schimkowitsch, Anton Fuhrmann, Stefan Maierhofer, and Werner Purgathofer. 2018. “Pictures in Your Mind: Using Interactive Gesture-Controlled Reliefs to Explore Art.” ACM Trans. Access. Comput. 11 (1). https://doi.org/10.1145/3155286.

Rossetti, V., F. Furfari, B. Leporini, S. Pelagatti, and A. Quarta. 2018. “Smart Cultural Site: An Interactive 3d Model Accessible to People with Visual Impairment.” IOP Conference Series: Materials Science and Engineering 364 (1): 012019. https://doi.org/10.1088/1757-899X/364/1/012019.

Schmitz, Bernhard, and Thomas Ertl. 2012. “Interactively Displaying Maps on a Tactile Graphics Display.” In SKALID 2012–Spatial Knowledge Acquisition with Limited Information Displays, 13–18.

Schneider, Jochen, and Thomas Strothotte. 2000. “Constructive Exploration of Spatial Information by Blind Users.” In Proceedings of the Fourth International ACM Conference on Assistive Technologies, 188–92. Assets ’00. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/354324.354375.

Shen, Huiying, Owen Edwards, Joshua Miele, and James M. Coughlan. 2013. “CamIO: A 3D Computer Vision System Enabling Audio/Haptic Interaction with Physical Objects by Blind Users.” In Proceedings of the 15th International ACM SIGACCESS Conference on Computers and Accessibility. ASSETS ’13. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2513383.2513423.

Shneiderman, B. 1996. “The Eyes Have It: A Task by Data Type Taxonomy for Information Visualizations.” In Proceedings 1996 IEEE Symposium on Visual Languages, 336–43. https://doi.org/10.1109/VL.1996.545307.

Siu, Alexa, Gene S-H Kim, Sile O’Modhrain, and Sean Follmer. 2022. “Supporting Accessible Data Visualization Through Audio Data Narratives.” In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, 1–19. CHI ’22. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3491102.3517678.

“SONIFY – Making Graphs Accessible.” u.å. Accessed June 28, 2023. https://hcii.cmu.edu/mhci/capstone/2016/bloomberg/design.html.

Statped, dir. 2021. Mulet: Multisensory Interactive Documents for Children with Visual Impairments .. https://www.youtube.com/watch?v=QtgDd49azsw.

Stronks, H. Christiaan, Ellen B. Mitchell, Amy C. Nau, and Nick Barnes. 2016. “Visual Task Performance in the Blind with the BrainPort V100 Vision Aid.” Expert Review of Medical Devices 13 (10): 919–31. https://doi.org/10.1080/17434440.2016.1237287.

Swaminathan, Saiganesh, Thijs Roumen, Robert Kovacs, David Stangl, Stefanie Mueller, and Patrick Baudisch. 2016. “Linespace: A Sensemaking Platform for the Blind.” In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, 2175–85. CHI ’16. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2858036.2858245.

Szymczak, Delphine, Kirsten Rassmus-Gröhn, Per-Olof Hedvall, and Charlotte Magnusson. 2019. “Dynamic Multimodal Drawing in School: Exploring Technology Support of Drawing Skills Development in Children with Visual Impairments.” Technology and Disability 31 (3): 83–99. https://doi.org/10.3233/TAD-190224.

Taibbi, Marzia, Cristian Bernareggi, Andrea Gerino, Dragan Ahmetovic, and Sergio Mascetti. 2014. “AudioFunctions: Eyes-Free Exploration of Mathematical Functions on Tablets.” In Computers Helping People with Special Needs, edited by Klaus Miesenberger, Deborah Fels, Dominique Archambault, Petr Peňáz, and Wolfgang Zagler, 537–44. Cham: Springer International Publishing.

“Taktila bilder.” u.å. Myndigheten för tillgängliga medier. Accessed June 13, 2023. https://www.mtm.se/punktskriftsnamnden/taktilabilder/.

Talking Tactile Exhibit Panel. u.å. https://youtu.be/k0BFIf-cqxA.

Taylor, Brandon, Anind Dey, Dan Siewiorek, and Asim Smailagic. 2016. “Customizable 3D Printed Tactile Maps as Interactive Overlays.” In Proceedings of the 18th International ACM SIGACCESS Conference on Computers and Accessibility, 71–79. ASSETS ’16. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2982142.2982167.

Tewell, Jordan, Jon Bird, and George R. Buchanan. 2017. “Heat-Nav: Using Temperature Changes as Navigation Cues.” In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, 1131–35. CHI ’17. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3025453.3025965.

Thevin, Lauren, Nicolas Rodier, Bernard Oriola, Martin Hachet, Christophe Jouffrais, and Anke M. Brock. 2021. “Inclusive Adaptation of Existing Board Games for Gamers with and without Visual Impairments Using a Spatial Augmented Reality Framework for Touch Detection and Audio Feedback.” Proc. ACM Hum.-Comput. Interact. 5 (ISS). https://doi.org/10.1145/3488550.

Vaz, Roberto, Paula Odete Fernandes, and Ana Cecília Rocha Veiga. 2018. “Designing an Interactive Exhibitor for Assisting Blind and Visually Impaired Visitors in Tactile Exploration of Original Museum Pieces.” Procedia Computer Science 138: 561–70. https://doi.org/10.1016/j.procs.2018.10.076.

Wijntjes, Maarten W. A., Thijs van Lienen, Ilse M. Verstijnen, and Astrid M. L. Kappers. 2008. “The Influence of Picture Size on Recognition and Exploratory Behaviour in Raised-Line Drawings.” Perception 37 (4): 602–14. https://doi.org/10.1068/p5714.

Wilson, Graham, Gavin Davidson, and Stephen A. Brewster. 2015. “In the Heat of the Moment: Subjective Interpretations of Thermal Feedback During Interaction.” In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, 2063–72. CHI ’15. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2702123.2702219.

Wilson, Graham, Martin Halvey, Stephen A. Brewster, and Stephen A. Hughes. 2011. “Some like It Hot: Thermal Feedback for Mobile Devices.” In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2555–64. CHI ’11. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/1978942.1979316.

Wu, Shaomei, Jeffrey Wieland, Omid Farivar, and Julie Schiller. 2017. “Automatic Alt-Text: Computer-Generated Image Descriptions for Blind Users on a Social Network Service.” In Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing, 1180–92. CSCW ’17. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2998181.2998364.

Yim, Jinho, Rohae Myung, and Byongjun Lee. 2007. “The Mobile Phone’s Optimal Vibration Frequency in Mobile Environments.” In Usability and Internationalization. HCI and Culture, edited by Nuray Aykin, 646–52. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer. https://doi.org/10.1007/978-3-540-73287-7_75.

Yoshida, Tsubasa, Kris M. Kitani, Hideki Koike, Serge Belongie, and Kevin Schlei. 2011. “EdgeSonic: Image Feature Sonification for the Visually Impaired.” In Proceedings of the 2nd Augmented Human International Conference. AH ’11. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/1959826.1959837.

Zhao, Haixia. 2006. “Interactive Sonification of Abstract Data – Framework, Design Space, Evaluation, and User Tool,” April. http://hdl.handle.net/1903/3394.

Zhao, Haixia, Catherine Plaisant, Ben Shneiderman, and Jonathan Lazar. 2008. “Data Sonification for Users with Visual Impairment: A Case Study with Georeferenced Data.” ACM Trans. Comput.-Hum. Interact. 15 (1). https://doi.org/10.1145/1352782.1352786.