Modéliser des comportements humains grâce à Airbnb

Quelques clics sur TripAdvisor ou Airbnb et vous aurez choisi un appartement romantique pour votre week-end à deux ou un restaurant chic pour votre repas professionnel. Ces décisions rapides largement basées sur des images sont loin d’être anodines, vu leur poids commercial et la révolution économique qu’a représenté l’arrivée de sites de crowdsourcing comme Airbnb. Mais quelles sont les caractéristiques des images qui nous font définir un intérieur comme «branché», «coloré» ou «pratique»? C’est pour répondre à cette question que les chercheurs de l’Institut de recherche Idiap et de l’EPFL ont travaillé avec des psychologues de l‘Université de Lausanne. Ils souhaitent mieux comprendre les perceptions et le comportement des utilisateurs de médias sociaux, afin d’utiliser ces connaissances pour programmer des ordinateurs capables de prendre des décisions plus proches de celles des humains. «A l’ère du big data, de plus en plus de décisions relèvent des machines, explique Daniel Gatica-Perez, professeur titulaire à la Faculté des Sciences et techniques de l’Ingénieur et à l'Institut des humanités digitales de l’EPFL. Notre objectif est qu’elles deviennent le plus proche possible des décisions humaines.»

Collaboration entre psychologues et ingénieurs

Pour comprendre comment se forme une première impression, les chercheurs ont d’abord mené des entretiens avec des hôtes et des voyageurs, les interrogeant sur leur processus de choix d’un logement. Ils ont sélectionné 350'000 images dans 22'000 logements sur Airbnb en Suisse et au Mexique, qu’ils ont soumis à l’analyse d’algorithmes pour vérifier qu’elles représentent bien des intérieurs. Ils ont ensuite choisi aléatoirement 200 logements et ont soumis une liste d’adjectifs aux observateurs en ligne. Ces derniers devaient décider de la relevance de ces descriptifs pour chaque logement, en exprimant leur accord à travers une échelle de 1 à 7. Certains adjectifs étant plutôt factuels comme «propre» ou «encombré», d’autres plus subjectifs, tels que «bohémien» ou «charmant». Cette étape, menée en collaboration par les psychologues et les ingénieurs, a permis d’observer quelles caractéristiques faisaient l’unanimité chez les participants, et au contraire, quels critères les divisaient. Les logements définis comme «colorés» ou «sombres» l’étaient par exemple par une majorité des sondés, avec des notes très proches. D’autres, comme «relaxés» ou «traditionnels», se sont vus distribuer des notes très différentes selon les logements.

Analyser la perception humaine en ligne

Les scientifiques sont ensuite passés à la modélisation de ces données. Ils ont cherché à déceler quelles caractéristiques dans les photos nous conduisaient à les décrire avec tel ou tel adjectif, pour programmer les ordinateurs à les reconnaître. Ils ont ensuite défini la façon dont les adjectifs étaient liés entre eux. Des personnes qui décrivent un logement comme coloré vont-elles y associer l’adjectif «propre»? Quel est le lien entre «prétentieux», «trendy», «organisé» et «grand» ? Comment se lient entre eux des adjectifs positifs et négatifs, ou factuels et subjectifs ? Et pourquoi l’adjectif «romantique» est-il plus facilement associé à «sophistiqué» plutôt qu’à «trendy» ? «On peut s’attendre à ce que «large» et «spacieux» soient très proches dans l’esprit des gens, ou «encombré» et «vide» très éloignés, indique Daniel Gatica-Perez. Mais les relations sont beaucoup plus complexes. Grâce à cet outil, connaître une seule caractéristique permet également d'associer d'autres adjectifs qui s’y rapportent dans l’esprit des gens.»

Les machines comme soutien aux humains

Les chercheurs ont finalement soumis les images de logements aux algorithmes utilisés par le deep learning, et comparé les résultats avec ceux des humains. A terme, ces résultats pourraient être utilisés par des professionnels, comme des architectes ou des designers dans le cadre de photos d’intérieurs. Le laboratoire suit également le développement des sites de partage d’images, qui affichent pour un même lieu des photos très différentes, professionnelles et amateurs, conduisant à des perceptions très diverses. Mais l’objectif final des scientifiques est bien de comprendre les caractéristiques des images et les liens qui sous-tendent la formation de nos impressions, afin de programmer les ordinateurs à les imiter. «On entend souvent que les machines font mieux que les humains, conclut Daniel Gatica-Perez. Notre objectif est différent: nous voulons que les machines soient entraînées selon ces subtilités humaines perçues et exprimées dans la vie quotidienne, afin de répondre aux véritables besoins des gens.»

«Check Out This Place: Inferring Ambiance from Airbnb Photos», Laurent Son Nguyen, Salvador Ruiz Correa, Marianne Schmid Mast and Daniel Gatica-Perez. IEEE Transactions on Multimedia.

Cette recherche a été menée entre la Suisse et le Mexique, dans le cadre d’un projet EPFL-UNIL en Recherche Collaborative sur la Science et la Société.