Cada sensor dentro del Apple Vision Pro y para qué está diseñado individualmente

Por un dispositivo de $3,499 USD que está diseñado para reemplazar su teléfono, computadora portátil, reloj, tableta, televisión e incluso su mouse, puede apostar a que el Vision Pro de Apple está repleto de sensores que lo rastrean a usted, sus movimientos, vista, gestos, comandos de voz, y su posición en el espacio. Según el propio anuncio de Apple, el Vision Pro tiene hasta 14 cámaras en el interior y el exterior, 1 escáner LiDAR y múltiples iluminadores IR y LED invisibles para ayudarlo a tener una idea de dónde se encuentra y qué está haciendo. Aparte de esto, el auricular también tiene un chip R1 Apple Silicone dedicado que procesa los datos de todos estos sensores (y algunos otros) para ayudar a crear la mejor representación del cambio gradual de Apple hacia la "computación espacial".

"Vision Pro es un nuevo tipo de computadora", dice Tim Cook mientras revela los auriculares de realidad mixta por primera vez. “Es el primer producto de Apple en el que miras, y no en”, agrega, marcando el cambio de Apple a la computación espacial. ¿Qué es la computación espacial, te preguntarás? Bueno, la computadora de escritorio fue promocionada como la primera computadora personal del mundo, o PC, como la llamamos tan ubicuamente hoy. La computadora portátil redujo el escritorio a un formato portátil, y el teléfono lo redujo aún más... hasta el reloj, que puso su computadora personal en su muñeca. La Computación espacial marca el primer cambio de Apple de la Computación personal, en el sentido de que ahora ya no está limitado por una pantalla, grande o pequeña. "En cambio, su entorno se convierte en un lienzo", resume Tim, mientras le entrega el escenario al vicepresidente de diseño, Alan Dye.

La informática espacial marca una nueva era de la informática en la que las cuatro esquinas de una pantalla tradicional no imponen ninguna restricción a su entorno de trabajo. En cambio, su entorno real se convierte en su entorno de trabajo y, al igual que tiene carpetas, ventanas y widgets en una pantalla, Vision Pro le permite crear carpetas, ventanas y widgets en su espacio 3D. Dye explica que en Computación espacial no es necesario minimizar una ventana para abrir una nueva. Simplemente arrastre una ventana hacia un lado y abra otra. VisionOS de Apple convierte su habitación y su periferia visual en un sistema operativo, permitiéndole crear múltiples pantallas/ventanas donde quiera, moverlas y cambiarles el tamaño. Piensa en Minority Report o en la computadora holográfica de Tony Stark... pero con una interfaz mejor y más elegante.

En el corazón de los auriculares Vision Pro hay dos chips que funcionan juntos para ayudar a que la virtualidad y la realidad se combinen a la perfección. El Vision Pro está equipado con el chip de silicona M2 de Apple para ayudar con la computación y el manejo de múltiples tareas, junto con un nuevo chip de silicona R1 que es propiedad de los auriculares, que funciona con todos los sensores dentro y fuera de los auriculares para rastrear su vista, control de entrada, y también ayuda a que los elementos virtuales existan sin problemas en el mundo real, haciendo cosas impresionantes como proyectar sombras en el mundo que te rodea, cambiar de ángulo cuando te mueves o desaparecer/desvanecerse cuando alguien entra en tu marco.

El chip R1 es prácticamente el ingrediente secreto de Apple con Vision Pro. Maneja datos de todos los sensores del dispositivo, rastreando simultáneamente su entorno, su posición en él, sus manos e incluso los movimientos de sus ojos con una precisión asombrosa. Los movimientos de sus ojos forman la base de cómo Vision Pro sabe con qué elementos está pensando en interactuar, convirtiéndolos prácticamente en cursores de buena fe. Tan impresionante como es, el R1 también usa los datos de su ojo para saber qué elementos de la pantalla renderizar y cuáles no. Dado que solo puede concentrarse en un área limitada en un momento dado, el chip R1 sabe representar solo esa parte de su periferia visual con una claridad nítida, en lugar de gastar recursos en la representación de toda la escena. Es una forma fenomenalmente inteligente de optimizar el uso de la batería al tiempo que brinda una experiencia de inmersión brillante. Sin embargo, eso no es todo…

Un ingeniero de neurotecnología de Apple levantó el velo sobre cuán compleja y algo aterradora es la tecnología interna de Vision Pro. Mientras estaba sujeto a NDA, Sterling Crispin compartió en un tweet cómo Vision Pro rastrea su vista y sabe cómo navega por su interfaz de manera impecable. Fundamentalmente, el chip R1 está diseñado para ser casi mágico en la predicción del viaje y la intención del ojo de un usuario. "Uno de los mejores resultados implicó predecir que un usuario iba a hacer clic en algo antes de que lo hiciera […]Tu pupila reacciona antes de que hagas clic en parte porque esperas que suceda algo después de que hagas clic.", menciona Crispin. "Así que puedes crear biorretroalimentación con el cerebro de un usuario al monitorear su comportamiento ocular y rediseñar la interfaz de usuario en tiempo real para crear más de esta respuesta anticipatoria de la pupila".

"Otros trucos para inferir el estado cognitivo consistían en mostrar rápidamente imágenes o sonidos a un usuario de formas que tal vez no perciba, y luego medir su reacción". Crispin explica más. "Otra patente entra en detalles sobre el uso del aprendizaje automático y las señales del cuerpo y el cerebro para predecir qué tan concentrado o relajado está, o qué tan bien está aprendiendo. Y luego actualizar los entornos virtuales para mejorar esos estados. Entonces, imagine una inmersión adaptativa ambiente que lo ayuda a aprender, trabajar o relajarse al cambiar lo que está viendo y escuchando en el fondo". Aquí hay un vistazo al tweet de Sterling Crispin.

Pasé el 10 % de mi vida contribuyendo al desarrollo de #VisionPro mientras trabajaba en Apple como investigador de prototipos de neurotecnología en el grupo de desarrollo tecnológico. Es el tiempo más largo que he trabajado en un solo esfuerzo. Estoy orgulloso y aliviado de que finalmente sea... pic.twitter.com/vCdlmiZ5Vm

— Sterling Crispin 🕊️ (@sterlingcrispin) 5 de junio de 2023

Los sensores dominan las capacidades de computación espacial de Vision Pro, y aquí hay un vistazo a todos los sensores que Apple destacó en el discurso de apertura, junto con algunos otros que se encuentran debajo del capó de Vision Pro. Esta lista no está completa, ya que Vision Pro no está disponible para un desmontaje técnico, pero incluye todos los sensores mencionados por Apple.

Cámaras – El Vision Pro tiene aproximadamente 14 cámaras que lo ayudan a capturar detalles dentro y fuera del visor. Hasta 10 cámaras (2 principales, 4 hacia abajo, 2 TrueDepth y 2 laterales) en la parte exterior del auricular detectan su entorno en 3D estereoscópico, mientras que 4 cámaras IR dentro del auricular rastrean sus ojos y realizan escaneos 3D de su iris, ayudando al dispositivo a autenticar al usuario.

Sensor LiDAR- El propósito del sensor LiDAR es usar la luz para medir distancias, creando un mapa 3D del mundo que te rodea. Se usa en la mayoría de los sistemas automotrices de conducción autónoma, e incluso en el sistema FaceID del iPhone, para escanear su rostro e identificarlo. En el Vision Pro, el sensor LiDAR se encuentra al frente y al centro, justo encima de la nariz, y captura una vista perfecta del mundo que te rodea, además de capturar un modelo 3D de tu rostro que luego usa el visor como avatar durante FaceTime.

cámara de infrarrojos – La presencia de una cámara IR en cualquier dispositivo juega un papel clave para poder hacer el trabajo de una cámara cuando la cámara no puede. Los sensores IR también funcionan en la oscuridad absoluta, lo que les da una ventaja significativa sobre las cámaras convencionales. Es por eso que el auricular tiene 4 cámaras IR en el interior y una cantidad no revelada de cámaras/sensores IR en el exterior para ayudar al dispositivo a ver a pesar de las condiciones de iluminación. Las cámaras IR dentro de los auriculares hacen un trabajo notable de seguimiento ocular y de creación de un escaneo 3D de su iris, para realizar el sistema de autenticación seguro OpticID de Apple.

Iluminadores – Si bien estos no son sensores, juegan un papel clave al permitir que los sensores hagan su trabajo a la perfección. El auricular Vision Pro tiene 2 iluminadores IR en el exterior que emiten cuadrículas de puntos infrarrojos invisibles para ayudar a escanear con precisión la cara de una persona (muy similar a FaceID). Sin embargo, en el interior, el auricular tiene iluminadores LED invisibles que rodean cada ojo que ayudan a las cámaras IR a rastrear el movimiento de los ojos, las reacciones y realizar escaneos detallados de su iris. Estos iluminadores juegan un papel crucial en entornos con poca luz, proporcionando datos a las cámaras IR para trabajar.

Acelerómetro y giroscopio – Aunque Apple no mencionó la presencia de estos en los auriculares, es obvio que Vision Pro tiene múltiples acelerómetros y giroscopios para ayudarlo a rastrear el movimiento y la inclinación. Como cualquier buen visor, el Vision Pro permite realizar un seguimiento con 6 grados de libertad, siendo capaz de detectar el movimiento hacia la izquierda, hacia la derecha, hacia adelante, hacia atrás, hacia arriba y hacia abajo. El acelerómetro ayuda al auricular a capturar estos movimientos, mientras que el giroscopio ayuda al auricular a comprender cuándo estás inclinando la cabeza. Estos sensores, junto con las cámaras y los escáneres, le brindan al chip R1 los datos que necesita para saber dónde está parado, moviéndose y mirando.

micrófonos – Vision Pro tiene una cantidad no revelada de micrófonos integrados en los auriculares que realizan dos actividades amplias: detección de voz y audio espacial. Los comandos de voz forman una parte central de la forma en que interactúa con los auriculares, por lo que Vision Pro tiene micrófonos que le permiten realizar consultas de búsqueda, invocar aplicaciones/sitios web y hablar de forma natural con Siri. Sin embargo, los micrófonos también deben realizar un escaneo acústico de su habitación, de la misma manera que las cámaras deben realizar un escaneo visual. Hacen esto para que puedan hacer coincidir el sonido con la habitación en la que se encuentra, brindando la cantidad correcta de reverberación, frecuencias tonales, etc. Además, cuando gira la cabeza, los sonidos permanecen en el mismo lugar y los micrófonos ayudan. facilita eso, creando una ilusión sónica que permite que tus oídos crean lo que ven tus ojos.

Además de los sensores, Vision Pro está lleno de una gran cantidad de componentes tecnológicos, desde pantallas hasta paquetes de baterías. Aquí hay un vistazo a lo que hay debajo del capó del Vision Pro.

Pantallas – Dado su nombre, Vision Pro obviamente se enfoca en gran medida en su sentido visual... y lo hace con algunas de las pantallas más increíbles jamás vistas. El Vision Pro tiene dos pantallas del tamaño de un sello (una para cada ojo), cada una con más píxeles que un televisor 4K. Esto le da a las pantallas principales de Vision Pro la asombrosa cantidad de 23 millones de píxeles combinados, capaces de una frecuencia de actualización de 12 milisegundos (lo que lo convierte en aproximadamente 83 fps). Mientras tanto, el exterior de los auriculares también tiene una pantalla, que muestra sus ojos a las personas que lo rodean. Si bien no se conoce la calidad de esta pantalla, es una pantalla OLED doblada con una película lenticular en el frente que crea la impresión de una pantalla 3D, por lo que las personas ven profundidad en sus ojos, en lugar de solo una imagen plana.

Controladores de audio - La banda de los auriculares también tiene controladores de audio integrados en cada sien, que emiten un audio rico y sensible al medio ambiente en sus oídos mientras usa los auriculares. Apple mencionó que Vision Pro tiene controladores de audio duales para cada oído, lo que posiblemente podría indicar una calidad que rivaliza con AirPods Max.

Aficionados - Para mantener los auriculares frescos, Vision Pro tiene una cantidad no revelada de ventiladores que ayudan a mantener temperaturas óptimas dentro de los auriculares. Los ventiladores son silenciosos, pero increíblemente potentes, y enfrían no uno sino dos chips dentro de los auriculares. Un detalle de parrilla en la parte inferior ayuda a canalizar el aire caliente.

corona digital –Tomando prestado del Apple Watch, el Vision Pro tiene una corona digital que gira para invocar la pantalla de inicio, así como para alternar el entorno inmersivo que ahoga el mundo que te rodea para una verdadera experiencia de realidad virtual.

Botón del obturador -La corona digital también está acompañada por un botón del obturador que le permite capturar fotos y videos tridimensionales, que se pueden ver dentro de los auriculares Vision Pro.

Batería - Por último, Vision Pro tiene una unidad de batería independiente que se conecta mediante un conector patentado a los auriculares. La razón por la que el auricular tiene una batería separada es para ayudar a reducir el peso del auricular, que ya usa metal y vidrio. Dado lo pesadas que son las baterías, una batería independiente ayuda a distribuir la carga. Apple no ha compartido la capacidad en miliamperios por hora de la batería, pero sí mencionó que le brinda 2 horas de uso con una carga completa. Tampoco se ha mencionado cómo se carga la batería.

Si la frase "Trabaja inteligentemente, no trabaja duro" fuera una aspiradora robot, probablemente sería Roborock S7 Max Ultra. Con un diseño tan…

Aunque se considera que los humanos son principalmente criaturas altamente visuales, también nos hemos vuelto más conscientes del importante papel que juega el sonido en...

No hay ninguna razón por la que una bicicleta urbana normal deba usarse en senderos de montaña. Simplemente no está construido para manejar esas condiciones. Entonces, ¿por qué…

No estamos viviendo en un submarino amarillo, pero puede almacenar su información en uno verde, blanco, rojo o negro si lo desea...

Todos lo hemos pensado: ¿Usas un baño público, te lavas las manos y luego tienes que tocar un picaporte antihigiénico para salir del baño?

El viejo adagio "La madre sabe más" sigue siendo cierto hoy en día, ya que las madres modernas le muestran al mundo lo que es mejor para sus bebés y para ellas mismas. y que es...