Comment utiliser IMAGE ?

Aperçu, commandes, installation et matériel

Pour utiliser IMAGE, installez l'extension dans votre navigateur web en visitant la page du webstore Chrome du projet IMAGE et en cliquant sur "Ajouter à Google Chrome". Un bouton intitulé "Interpréter ce graphique avec IMAGE" apparaît après les graphiques, les tableaux et les cartes. Vous pouvez choisir un graphique spécifique pour lequel vous souhaitez bénéficier d'une expérience plus riche. En activant ces boutons, vous envoyez le graphique au serveur IMAGE. Le serveur IMAGE renvoie alors une ou plusieurs interprétations qui vous sont présentées sous forme audio, textuelle ou haptique. Étant donné que le graphique est envoyé à un serveur, veillez à ne jamais utiliser IMAGE sur des graphiques susceptibles de contenir des informations sensibles ou personnelles.

Vous pouvez également ouvrir une zone de lancement d'extension IMAGE en appuyant sur les touches Alt+I de votre clavier. Vous accéderez ainsi à une fenêtre dans laquelle vous pourrez accéder à cette page si vous avez besoin d'aide, ouvrir un fichier sur votre ordinateur ou gérer les options de l'extension.

Pour une meilleure expérience d'écoute des interprétations, veuillez utiliser des écouteurs stéréo. En outre, si vous le souhaitez, vous pouvez utiliser des dispositifs haptiques avec IMAGE. Il s'agit d'un travail en cours, entièrement facultatif, mais qui améliorera l'expérience ! Vous pouvez utiliser le Haply 2diy. Pour une explication plus approfondie de ce dispositif, consultez notre page Technologie.

Comprendre l'interprétation

Photos

IMAGE interprète les photos comme étant composées de deux grandes classes : la première est constituée de régions, la deuxième de choses et de personnes.

Régions

Les régions sont de larges zones de photos composées d'objets similaires, comme des arbres dans une forêt, ou de grandes choses, comme un mur ou un sol. Elles vous donnent une idée de l'endroit où se trouvent les plus grands composants de la photo par rapport aux autres éléments du leur forme approximative et de l'étendue spatiale.

Voici à quoi ressemblent trois régions ensemble:

Pour comprendre ce que vous entendez ou ressentez, imaginez qu'en utilisant le son du bourdonnement, vous tendez votre bras devant vous pour sentir le bord de la région, et que vous tracez les contours du bord dans le sens des aiguilles d'une montre, de gauche à droite, le ton changeant au fur et à mesure qu'elle descend et monte.

Les objets et les gens

Les objets et les personnes sont détectés par nos programmes de détection d'objets. Les objets englobent généralement un large éventail d'objets, tandis que les personnes sont des êtres humains. Ils seront généralement regroupés.

Voici un exemple d'objets et de personnes:

Il y avait deux groupes de choses différentes, ainsi que des personnes identifiées dans ce graphique, et vous auriez dû entendre leurs emplacements relatifs dans la scène sous forme de bruits d'éclatements.

Cartes

MAGE utilise des cartes intégrées de Google Maps pour créer des rendus de type point d'intérêt. Si vous connaissez le projet Autour du Shared Reality Lab, ce projet est similaire, mais diffère à plusieurs points.

Points d'intérêt

Si la carte Google Map intégrée comporte une latitude et une longitude, vous pourrez entendre les cartes avec un rendu de type "points d'intérêt". Imaginez que vous vous trouvez à l'endroit indiqué par la latitude et la longitude et que vous êtes orienté vers le nord. Vous entendrez un petit tintement dans une direction relative au nord, suivi du nom d'un lieu. Le volume des cloches indique la proximité du lieu : plus fort s'il est proche, plus faible s'il est éloigné.

Voici 5 points d'intérêt centrés autour d'un lieu touristique populaire de Toronto, en Ontario. Deux d'entre eux sont à droite, un est derrière, et les deux autres sont à gauche.

Graphiques

IMAGE peut interpréter des graphiques et des diagrammes réalisés avec Highcharts.

Graphiques linéaires

Actuellement, IMAGE peut transformer des graphiques linéaires avec une seule variable en audio spatialisé. Vous entendrez le titre du graphique, suivi du site Web sur lequel il se trouve et de la variable mesurée. Vous entendrez ensuite un bruit allant de gauche à droite, du début à la fin de l'axe des abscisses. Le ton du bruit devient plus aigu lorsque la valeur qu'il représente augmente et devient plus grave lorsque la valeur diminue.

Voici un exemple de ce que vous allez entendre.

Essayez de naviguer vers un graphique intégré avec Highcharts. Nous avons eu beaucoup de chance avec ceux d'Etherscan.

1. Tab pour naviguer vers le graphique.
2. Après le graphique, il y a un certain nombre de liens que vous pouvez parcourir. Continuez à naviguer jusqu'à ce que vous trouviez un bouton intitulé "Interpréter ce graphique avec IMAGE".
3. Sélectionnez le bouton "Interpréter ce graphique avec IMAGE".
4. Après quelques secondes, une fenêtre pop-up apparaît avec des boutons intitulés "Interprétation" suivis d'un numéro et d'une description. Cliquez sur les boutons pour obtenir une représentation audio de la modification de la valeur
5. Vous pouvez lire le rendu en appuyant sur le bouton "Play".

Remarquez le changement de tonalité au fur et à mesure que la valeur augmente et diminue.