2006 : Technologie SIG Mobile Earth
Vous connaissez certainement déjà “*Google Earth“:http://earth.google.com, un système permettant de visualiser des photographies satellites de n’importe quel point du globe, aussi bien en 2D qu’en 3D.*
Ce service est accessible sur ordinateur de bureau, mais rien de tel n’existe malheureusement pour votre téléphone mobile.
Mobile Earth est une technologie dédiée à l’industrie mobile : son objectif est d’offrir au secteur une solution innovante permettant aux utilisateurs de jouer dans un environnement 3D temps réel dont les graphismes reproduisent fidèlement les villes et les paysages avec un niveau de détail « infini » et inégalé.

Mobile Earth 3D : Première partie
J’ai démarré ce projet fin avril cette année, avec l’objectif de concevoir une technologie de streaming capable d’afficher de la 3D temps réel interactive d’une qualité inédite pour les réseaux mobiles 3.5G à haut débit : le HSDPA.
L’utilisateur d’un téléphone mobile pourra jouer à un jeu — et plus tard utiliser des services basés sur un Système d’Information Géographique (SIG) — affichant des décors de très haute qualité issus de véritables photographies satellites de la Terre.
L’idée consiste à faire calculer le monde en 3D temps réel par un serveur à la position exacte de l’avatar du joueur. Le monde est rendu avec une distance d’affichage (z-far) très élevée — typiquement plus de cent kilomètres, procurant ainsi la sensation d’un univers persistant extrêmement vaste.
Chaque image générée par le moteur est compressée à la volée pour alimenter un flux vidéo.
À l’autre bout de la chaîne, un téléphone mobile est relié au serveur via une connexion TCP sur un réseau radio HSDPA, lui-même connecté à Internet. Le HSDPA est le réseau 3.5G offrant une bande passante descendante de 1 Mbit/s, dont le déploiement débute actuellement en France.
La vidéo est alors diffusée en continu (streaming) vers le téléphone, qui décode le flux et affiche le décor à la résolution de l‘écran — typiquement QVGA, soit 320×240 pixels.
Le joueur bénéficie ainsi de graphismes d’une qualité exceptionnelle.
Le joueur peut déplacer son avatar vers le haut, le bas, la gauche et la droite tout en progressant. Ces commandes sont envoyées au serveur. À réception, le moteur de jeu interprète le déplacement du joueur et repositionne la caméra en conséquence, modifiant ainsi le flux vidéo envoyé.
Le joueur a dès lors la sensation de pouvoir évoluer librement dans le décor et d’interagir avec lui.
Bienvenue dans l’univers des SIG et de leur espace mémoire gigantesque
Un tel jeu exige une très grande précision afin de distinguer les bâtiments, les maisons et même les voitures sur l’autoroute.
Grâce à un partenariat avec l’IGN, j’ai pu disposer d’un jeu de photographies aériennes et satellites à très haute résolution : quatre pixels par mètre carré. À cette résolution, on distingue nettement les voitures, mais aussi les parasols sur les plages ensoleillées !
En contrepartie, le volume des fichiers correspondants est colossal. À titre d’exemple, l’espace requis pour stocker l’ensemble des photographies d’un seul département français atteint 60 gigaoctets.
Il faudrait donc 6 téraoctets pour stocker la couverture photographique de la France entière — soit l‘équivalent de 1 257 DVD !
Étape I : Rendu temps réel haute performance
J’ai commencé par concevoir un système de niveaux de détails (LOD) pour gérer l’affichage du monde.
J’ai mis en place un serveur chargé du traitement des données via un pipeline convertissant les photographies et cartes d‘élévation de l’IGN vers la base de données du moteur. Pas moins de 60 Go sont nécessaires pour stocker les données brutes des Alpes-Maritimes.
— Altitude : Les données d‘élévation sont contenues dans une image TIFF indexée 8 bits de 38 Mo où l’index indique le niveau d’altitude avec une résolution de 50 mètres ; je découpe cette image en dalles carrées de 2048×2048 pixels à l’aide d’un algorithme de sous-échantillonnage.
— Photographies : Les clichés satellites sont convertis depuis des images TIFF RVB de 2000×2000 pixels vers des fichiers JPEG RVB de 2048×2048 pixels, à partir desquels je génère une pyramide de 10 niveaux de mipmaps. À l’heure actuelle, cette opération prend plus de 20 minutes sur un Pentium 4 à 2 GHz pour la portion réduite utilisée par le jeu.
Pour l’instant, le moteur de rendu n’exploite qu’un sous-ensemble des données du département. Le système de LOD pilote la tessellation à la demande afin de minimiser la bande passante requise.
Chaque image est capturée depuis le tampon de rendu (framebuffer) et compressée sous forme de fichier JPEG sur disque à destination d’un second processus chargé du streaming.
Étape II : Streaming vidéo
Les images générées sont compressées à la volée et diffusées vers le téléphone mobile à l’aide d’un serveur PacketVideo.
Ce projet a pour vocation de démontrer les performances concrètes de la technologie HSDPA et de son débit théorique de 1 Mbit/s ! L’application reste néanmoins adaptable et prend également en charge les réseaux UMTS.
Étape III : Client J2ME
Le client mobile doit lire le flux vidéo en arrière-plan tout en superposant des éléments interactifs au premier plan. Cela nécessite donc une gestion propre de la transparence (alpha blending) ou au minimum une découpe franche (punch-through).
Curieusement, aucune solution J2ME standard ne permet de réaliser cela au moment où j‘écris ces lignes ; c’est pourquoi nous avons opté pour une approche différente en utilisant un lecteur Flash prenant en charge la vidéo, en l’occurrence le client Bluestreak.
Ce choix soulève toutefois deux difficultés : d’une part, le rendu vectoriel est moins performant que l’affichage de simples bitmaps ; d’autre part, le rendu de l’appareil au premier plan paraît moins réaliste, ce qui tranche avec l’objectif photoréaliste du projet.
Quoi qu’il en soit, nous avons retenu cette solution pour avancer.
Le jeu met en scène un vaisseau qui doit traverser de grands anneaux bonus 3D (« donuts ») disposés le long d’une trajectoire définie par des splines cubiques.
Le joueur peut se déplacer librement à l’intérieur de ce couloir virtuel, même si cette première version ne lui permet pas encore d’aller n’importe où dans le monde.
Étape IV : Liberté, liberté chérie
Au cours de cette étape, le joueur sera totalement libre de se diriger où bon lui semble et d’explorer l’intégralité du territoire.
Les commandes du joueur seront envoyées en temps réel au serveur via une connexion TCP. À réception, le moteur exécutera l’action demandée — y compris le déplacement de la caméra — générant ainsi de nouvelles images vidéo.
Le défi majeur réside ici dans le tampon vidéo de 6 secondes présent sur le client, qui induit une latence de 6 secondes. Pour pallier ce délai, le client anticipe le mouvement du décor en appliquant immédiatement la transformation 3D au vaisseau lui-même pendant que l’arrière-plan affiche encore l’ancienne trajectoire.
Lorsque les nouvelles images commencent à arriver sur le téléphone, le client compense progressivement le mouvement du décor en annulant les transformations anticipées appliquées au vaisseau. À cet effet, j’ai encapsulé les métadonnées de transformation 3D directement au sein des trames graphiques.
Mais cela concerne les prochaines étapes… d’ici là, découvrez les premières captures d‘écran et la vidéo !







