Un certain nombre de nouveaux brevets de Sony Interactive Entertainment viennent d'être rendus publics, révélant certains des travaux potentiels que Sony expérimente, notamment un brevet de suivi facial PlayStation VR qui suivra les traits du visage pour offrir une expérience plus réaliste aux utilisateurs.
La première partie du« Intégration de fonctionnalités faciales suivies pour les utilisateurs de VR dans des environnements de réalité virtuelle » patent discute de la capacité du suivi du visage qui garde un œil sur les mouvements du visage. Cela inclut les mouvements des yeux et de la bouche, et dans l'exemple utilisé par la société, il montre un avatar à l'écran imitant les mêmes expressions faciales du porteur du HMD en cours de traitement pour un autre utilisateur qui n'utilise pas de HMD.
L'invention concerne un procédé permettant de rendre une scène de réalité virtuelle (VR) visible via un visiocasque (HMD). Le procédé consiste à détecter le regard d'un utilisateur à l'aide d'un ou plusieurs capteurs de regard disposés dans un boîtier d'affichage du HMD. Et capturer des images de la bouche de l'utilisateur à l'aide d'une ou plusieurs caméras disposées sur le HMD, les images de la bouche comprenant des mouvements de la bouche. Le procédé consiste ensuite à générer un visage virtuel de l'utilisateur. Le visage virtuel comprend un mouvement oculaire virtuel obtenu à partir du regard de l'utilisateur et un mouvement de bouche virtuel obtenu à partir desdites images capturées de la bouche. Le procédé consiste à présenter un avatar de l'utilisateur dans la scène VR avec le visage virtuel. L'avatar de l'utilisateur peut être visualisé par un autre utilisateur ayant accès à la scène VR depuis une perspective qui permet de visualiser l'avatar ayant le visage virtuel de l'utilisateur. Les expressions faciales et les mouvements de la bouche de l'utilisateur portant le HMD sont visibles par ledit autre utilisateur, et le visage virtuel de l'utilisateur est présenté sans le HMD.
De plus, l'entreprise détaille dans le brevet la possibilité d'identifier le nez d'un utilisateur. Oui, nous savons que c'est assez bizarre, mais d'après l'explication fournie, cela semble avoir un peu de sens quant à la raison pour laquelle ils le feraient, car cela pourrait offrir une expérience plus réaliste à l'utilisateur.
Les mises en œuvre suivantes de la présente invention concernent des procédés, des systèmes, des supports lisibles par ordinateur et des systèmes cloud, pour restituer des vues de réalité virtuelle (VR) dans des scènes VR pour une présentation sur un visiocasque (HMD). Un procédé consiste à détecter la position d'un nez de l'utilisateur lorsque le HMD est porté par l'utilisateur. Le procédé consiste à identifier un modèle du nez de l'utilisateur sur la base de la position détectée. Le modèle du nez a une dimension basée sur la position du nez de l'utilisateur lorsque le HMD est porté. Le procédé consiste en outre à restituer des images sur un écran du HMD pour présenter les scènes VR. Les images sont augmentées pour inclure des données d'image du nez provenant du modèle du nez. Dans un exemple, le HMD est configuré pour capturer des expressions de caractéristiques faciales qui sont utilisées pour générer des visages d'avatar de l'utilisateur, et transmettre des expressions faciales et/ou des émotions.
Les modes de réalisation décrits ici permettent donc aux systèmes du HMD de suivre des caractéristiques de l'espace utilisateur, tout en portant le HMD. Les caractéristiques peuvent comprendre l'identification de caractéristiques du nez de l'utilisateur et l'utilisation de ces informations pour restituer au moins une partie du nez de l'utilisateur dans des images présentées sur les écrans du HMD pour visualiser le contenu de réalité virtuelle. En présentant des images du nez de l'utilisateur dans les images des scènes visualisées, les images ou images partielles du nez de l'utilisateur ressembleront aux vues qu'un utilisateur voit généralement lorsqu'il ne porte pas de HMD. En tant que tel, le cerveau de l'utilisateur qui visualise les images sera habitué à voir au moins une partie de son propre nez dans les scènes, et le cerveau de l'utilisateur filtrera automatiquement la présence du nez.
Cependant, en fournissant le nez de l'utilisateur ou des vues partielles du nez de l'utilisateur dans les scènes, il est possible pour l'utilisateur de ressentir une expérience plus réaliste lors de la visualisation du contenu de réalité virtuelle. Si le nez de l'utilisateur n'est pas présent, au moins partiellement dans les images, l'apparence ou la perception des scènes de réalité virtuelle par l'utilisateur sera moins que naturelle. Ainsi, en fournissant cette intégration dans les images, dans des endroits où l'utilisateur s'attend à voir au moins une partie de son nez, les vues sur le contenu de réalité virtuelle seront plus naturelles, et comme prévu par les réactions naturelles du cerveau de l'utilisateur. pour filtrer le nez. Les modes de réalisation décrits ici présentent des procédés permettant d'identifier le nez, de caractériser les caractéristiques physiques du nez, puis de générer des modèles du nez pour une présentation au moins partiellement dans les scènes.
Et ci-dessous, quelques images, dont une montrant comment cela peut fonctionner dans un jeu avec le point central étant le nez lui-même. Vous remarquerez peut-être également que le casque (vraisemblablement PSVR) a un design légèrement différent de celui du modèle d'origine. Ne prenez pas cela comme une indication que c'est à cela que ressemblera le nouveau casque VR si Sony continue de le prendre en charge sur la PlayStation 5.
La possibilité de suivre les expressions faciales via le casque lui-même est une idée plutôt intéressante et qui a déjà été testée par d'autres sociétés de casques VR. L’un d’entre eux est notamment Veeso, qui a publié une vidéo en 2016 montrant exactement cela. Malheureusement, ils n’ont jamais atteint leur objectif Kickstarter et le projet a été annulé peu de temps après. Facebook expérimente également l'idée.
Pour ceux qui sont des utilisateurs actifs de VR, est-ce quelque chose qui va vous intéresser ? Je sais que pour nous, nous pouvons voir les fonctions d'émote devenir beaucoup plus faciles à exécuter avec ce type de technologie. Quelles sont vos pensées ? faites-le-nous savoir dans la discussion ci-dessous !
