Reducción de la dimensionalidad – TSNE

Compartir esta publicación

Compartir en facebook
Compartir en linkedin
Compartir en twitter
Compartir en email

t-SNE | T-distributed stochastic neighbor embedding

El objetivo es tomar un conjunto de puntos en un espacio de alta dimensión y encontrar una representación fiel de esos puntos en un espacio de menor dimensión, normalmente el plano 2D. El algoritmo no es lineal y se adapta a los datos subyacentes, realizando diferentes transformaciones en diferentes regiones. Esas diferencias pueden ser una fuente importante de confusión.

Conceptos previos

Función Softmax

Esta función está relacionada con la distribución gaussiana que se denomina en el documento anterior de t-SNE –> SNE.

WZDZNxdixavGjw4YufcHBgbZAmYevCV2ont2HpYwCJNJuZVwi mHzyR9Hb5p LcB53 xDUJvhTWQAluLLRVOF4 2V25Ad4Ou8rcy6gtDebznHtQut GhYX6bASXqC6v6dIUcdg

Divergencia de Kullback Leiber

La divergencia de Kullback-Leibler, también llamada entropía relativa, es una medida de la diferencia entre una distribución de probabilidad y una segunda distribución de probabilidad de referencia.

Disimilitud

eSyiFrbAsFbqKnhNOJWlIQbvoDN EVd7ucx56HWpoeDh94WHbUcpLhaLeTgZ1lhJHGfiebQXpD7jPbKH8e13qYLGlt7SffPGvciEektN PcHHQWytDWG2zbyRCsCq1lds85cQjA

Probabilidad Neighbor

1EYVmLK1ykBrr1ng2vqfeaPV8lOL5r3Ll7vOmt zmr3tlN6xNs6GNhU0FpA CaXS9eXpSUsV p7jGikcSIiSml1AVQpmsZhIz1m31ogYFO 5JR zKC15cZ0gsgDczGIlZIX9f

Una segunda característica de t-SNE es un parámetro ajustable, la «perplejidad», que indica (vagamente) cómo equilibrar la atención entre los aspectos locales y globales de los datos. El parámetro es, en cierto modo, una suposición sobre el número de vecinos cercanos que tiene cada punto. El valor de la perplejidad tiene un efecto complejo en las imágenes resultantes. El artículo original dice: «El rendimiento de SNE es bastante robusto a los cambios en la perplejidad, y los valores típicos están entre 5 y 50». Pero la historia es más matizada que eso. Sacar el máximo provecho de t-SNE puede significar analizar varias parcelas con diferentes perplejidades.

Ahí no acaban las complicaciones. Por ejemplo, el algoritmo t-SNE no siempre produce resultados similares en ejecuciones sucesivas, y hay hiperparámetros adicionales relacionados con el proceso de optimización.

Embedding

Un embedding o incrustración es esencialmente un espacio de baja dimensión al que se puede traducir un vector de alta dimensión. Durante la traducción, una incrustación preserva la relación semántica de las entradas colocando entradas similares cerca unas de otras en el espacio de incrustación. Intentemos entender este concepto con ejemplos. Aquí tenemos una captura de los creadores del proyector de incrustación, una herramienta que nos permite visualizar fácilmente datos de alta dimensión.

https://projector.tensorflow.org/

Perplejidad

s6bzajyl Sdseu H9lq1OCfAzffb4FyhJpFgUnrsBjapO1KRC262r tLB1Jxmp7IBbGgZWCuSBtZa ToZ7OHkJZ4xPJJpJvRBRkAraS7aV8DFxHDxZrmLjEubFrtPThIxa 3SjX9

La definición de perplejidad de Van der Maaten y Hinton puede interpretarse como una medida suave del número efectivo de vecinos. El rendimiento de t-SNE es bastante robusto a los cambios en la perplejidad, y los valores típicos están entre 5 y 50.

Con valores de perplejidad en el rango (5 – 50) sugerido por van der Maaten y Hinton, los diagramas muestran estos cúmulos, aunque con formas muy diferentes. Fuera de ese rango, las cosas se ponen un poco raras. Con la perplejidad 2, dominan las variaciones locales. La imagen para la perplejidad 100, con clusters fusionados, ilustra un escollo: para que el algoritmo funcione correctamente, la perplejidad debe ser realmente menor que el número de puntos. De lo contrario, las implementaciones pueden tener un comportamiento inesperado.

Iteración

XHVpS2irqWOuXsYrt4vPrgIa7pt2TpLX2NPhOQ9OXOkiUynkSFKC s

Las imágenes de arriba muestran cinco ejecuciones diferentes con una perplejidad de 30. Las cuatro primeras se detuvieron antes de la estabilidad. Después de 10, 20, 60 y 120 pasos se pueden ver diseños con imágenes aparentemente unidimensionales e incluso puntuales de los clusters.

Si ve un gráfico de t-SNE con extrañas formas «pellizcadas», lo más probable es que el proceso se haya detenido demasiado pronto. Desgraciadamente, no hay un número fijo de pasos que produzca un resultado estable. Diferentes conjuntos de datos pueden requerir diferentes números de iteraciones para converger.

Otra pregunta natural es si diferentes ejecuciones con los mismos hiperparámetros producen los mismos resultados. En este sencillo ejemplo de dos clústeres, y en la mayoría de los otros que discutimos, múltiples ejecuciones dan la misma forma global. Sin embargo, algunos conjuntos de datos producen diagramas muy diferentes en diferentes ejecuciones; más adelante daremos un ejemplo de uno de ellos.

Agrupaciones con diferente interdistancia

Sorprendentemente, los dos conglomerados parecen tener el mismo tamaño en los gráficos de t-SNE. ¿Qué ocurre? El algoritmo t-SNE adapta su noción de «distancia» a las variaciones regionales de densidad en el conjunto de datos. Como resultado, amplía de forma natural los clusters densos y contrae los escasos, igualando el tamaño de los clusters. Para que quede claro, se trata de un efecto diferente al hecho habitual de que cualquier técnica de reducción de la dimensionalidad distorsiona las distancias. (Después de todo, en este ejemplo todos los datos eran bidimensionales para empezar). Más bien, la igualación de la densidad ocurre por diseño y es una característica predecible de t-SNE.

Sin embargo, el resultado final es que no se pueden ver los tamaños relativos de los clusters en un gráfico t-SNE.

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

Suscríbete a nuestro boletín de noticias

Recibe actualizaciones de los últimos descubrimientos tecnológicos

Acerca de Apiumhub

Apiumhub reúne a una comunidad de desarrolladores y arquitectos de software para ayudarte a transformar tu idea en un producto potente y escalable. Nuestro Tech Hub se especializa en Arquitectura de Software, Desarrollo Web & Desarrollo de Aplicaciones Móviles. Aquí compartimos con usted consejos de la industria & mejores prácticas, basadas en nuestra experiencia.

Posts populares
Obtén nuestro Libro: Software Architecture Metrics

Global Software Architecture Summit '22

Reserva tu plaza!

Reserva

¿Tienes un proyecto desafiante?

Podemos trabajar juntos

Secured By miniOrange