Formato ancho y formato largo

En la clase hemos hablado de los datos tidy o prolijos. Se trata de datos que tienen dos propiedades:

1. Son rectangulares. Es decir, todas la columnas tienen el mismo largo y todas las filas tienen el mismo largo¹. Si hay valores faltantes se rellenan, generalmente con NA.

2. Cada columna es una variable y cada fila una observación.

A manera de ejemplo, los datos de la base de la Encuesta Nacional de Migración tienen este formato.

library(foreign)
library(tidyverse)
library(knitr)

# R permite camino hacia los datos como URL, es decir, podemos leer directamente un archivo desde una dirección a través de http.
# Sin embargo es recomendable crear una copia local de los datos 1) por velocidad y 2) para no abusar del servidor que nos ofrece los datos, 3) por si los datos desaparecen o cambian de ubicación.

migracion <- read.spss("http://www.losmexicanos.unam.mx/migracion/encuesta_nacional/base_datos/Encuesta_Nacional_de_Migracion.sav", to.data.frame = TRUE)
diccionario <- tibble(nombre = names(migracion), 
                    etiquetas = str_trim(attr(migracion, "variable.labels")))
migracion <- as.tibble(migracion)
migracion %>% 
  sample_n(3) %>% 
  select(edo, starts_with("p7_"), Pondi2) %>% 
  kable(caption = "Cada columna es una variable, cada fila una observación.")

Esta formato de datos es el más usado y tener una convención para su creación y uso podemos tener expectativas razonables sobre como se van a comportar los inputs y outputs. Sin embargo para algunas operaciones es más práctico dar a los datos un tipo de diferente de formato: pares² de claves y valores. El formato básico de claves y valores tiene dos columnas –y sólo dos columnas, independientemente de la cantidad de variables con la que estemos tratando. Una columna registra las claves, en este caso los nombres de cada variable. La otra registra el valor para esa variable. En este contexto usamos de manera intercambiable “pares de clave-valor” y “formato largo”.

migracion %>% 
  sample_n(3) %>% 
  select(edo, starts_with("p7_"), Pondi2) %>% 
  gather() %>% 
  kable(caption = "Los nombre de columna ahora están en filas.")

Los datos son exactamente los mismos y podemos revertir el proceso, regresando los datos al formato original. Lo que hicimos fue pasar de unos datos en formato ancho –muchas columnas, pocas filas- a uno largo –pocas columnas, muchas filas, la información de los nombres de columa ahora pasó a una fila. Como se ve en el código lo hicimos con la función gather(), del paquete tidyr que se encuentra a su vez en el metapaquete tidyverse.

¿Para qué usar formato largo?

El formato largo es muy útil en varios escenarios en los que necesitamos hacer explícita la información sobre los niveles de agrupamiento de nuestros datos. En la práctica transformamos nuestros datos a formato largo antes de aplicar operaciones agrupadas con group_by a través de mutate() o summarise() o para gráficos de ggplot en los que vamos a usar las propiedades de agrupación de los datos con facet_wrap(), fill() o color. Las funciones que mencionamos aprovechan muy bien a los datos largos, ya que podemos utilizar a la/s columna/s de clave/s para crear grupos y aplicar funciones sobre esos grupos.

Aplicación al ejercicio 5.2.

En el caso de los gráficos es muy útil cuando nos interesa graficar más de una variable y esas variables se encuentran originalmente es más de una columna. En lugar de graficar cada columna por separado las unimos alargándolas y las graficamos como una sólo columna (los valores) separada en grupos por las claves. En este caso en lugar de generar una par de claves y valores vamos a necesitar un trío de claves y valores: como estamos trabajando con datos ponderados es necesario convervar los ponderadores cuando hacemos la transformación a formato largo.

migracion %>% 
  head() %>% 
  select(starts_with("p7_"), Pondi2) %>% 
  kable()

Formato largo: toma 1.

La primera aproximación es pasar gather con los argumentos por defecto³ y ver que pasa. Reduciré el número de preguntas para que el resultado sea más facil de visualizar y comprender.

migracion %>% 
  head %>%                         #La cabeza, sólo las primeras filas
  select(p7_1, p7_2, Pondi2) %>%  
  gather() %>% 
  kable(caption = "El ponderador no va ahí")

¿Lo logramos? Sí, en parte. Las preguntas ahora están en la columna key^[clave, es el nombre en inglés que por defecto utiliza gather) y las respuestas en value⁴. Sin embargo el ponderador también está en filas a aparte. Para poder aplicarlo a momento de hacer los conteos necesitamos que el ponderador sea una columna separada, aparte de key y value, que repita su magnitud para cada par de pregunta/respuesta. Necesitamos un trío de claves y valores. gather contempla esta situación y tiene un operador muy simple para indicarle que no queremos que una variable se convierta en pares de clave-valor y se conserve en la estructura original, repitíendose para da grupo. El operador es el signo menos -, que antecede el nombre de columna o columnas para las que queremos este comportamiento.

Por defecto gather utiliza los nombres key y value para las columnas de claves y valor. Sin embargo es buena idea no usar estos nombres genéricos no son muy útiles –podrían ser cualquier cosa- y es buena práctica usar nombres significativos, relacionados con nuestros datos. En este caso podrías llamar a esas columnas Pregunta y Respuesta, ya que contienen preguntas y respuestas.

Cuando queremos excluir una columna de la transformación a formato largo es necesario suministrar nombres para las columnas de claves y valores. El operador - no funciona si no suministramos los nombres. Los nombres de clave y valor son los dos primeros argumentos de la función, las variables excluidas con - son los argumentos sucesivos.

Formato largo: toma 2.

migracion %>% 
  head %>% 
  select(p7_1, p7_2, Pondi2) %>%  
  gather(Pregunta, Respuesta, -Pondi2) %>% 
  kable(caption = "El ponderador va en columna aparte.")

Conteos agrupados y ponderados

Con la estructura de datos correcta podemos hacer los conteos de las respuestas a cada pregunta aplicando el ponderador muestal. Seguimos con el ejemplo con pocas columnas para facilitar la lectura de las salidas, pero podemos escalar este procedimiento a tantas columnas como querramos, la disponibilidad de memoria RAM es el límite.

Pasos:

1. Aplicamos los agrupamientos a los transformados. En este caso queremos un grupo para cada combinación de pregunta/respuesta.
2. Aplicamos el conteo indicando a Pondi2 como wt= o ponderador muestral.
3. Asignamos un nombre al data.frame con los conteos. No es estrictamente necesario, pero en este caso corta el código y hace más legible la sintaxis posterior del gráfico.

migracion %>% 
  select(p7_1, p7_2, Pondi2) %>%  
  gather(Pregunta, Respuesta, -Pondi2) %>% 
  group_by(Pregunta, Respuesta) %>% 
  count(wt = Pondi2) -> conteos_p7
kable(conteos_p7, caption = "Conteos finales, casi listos para graficar")

Etiquetas de las variables 1

En el bootstrap del ejercicio 5 se crea un diccionario de variables con la siguiente estructura:

diccionario %>% 
  filter(str_detect(nombre, "p7_")) %>% 
  kable(caption = "Relación de nombres cortos y largos del bloque p7.")

Los datos largos tienen otra características interesante, están listos para hacer joins de datos. De este podemos reemplazar facilmente los códigos de las preguntas (p*_*) por los nombres largos, mucho más significativos para quién vaya a leer nuestro reporte/paper/tesis.

Pasos:

1. Cambiar el nombre de la columna Pregunta de conteos_p7 a nombre, de modo que coincida con la variable con igual información en diccionario.
2. Hacer un left_join, de modo que se conserven solamente las filas de la izquierda, es decir, de conteos_p7.

conteos_p7 %>% 
  rename("nombre" = Pregunta) %>% 
  kable(caption = "Al cambiar el nombre aquí no necesito especificar claves de unión en el join")

conteos_p7 %>% 
  rename("nombre" = Pregunta) %>% 
  left_join(diccionario) %>% 
  kable(caption = "La columna etiqueta tiene los nombres largos que usaré para graficar")

Etiquetas de variables 2

Los nombres largos de las variables –las preguntas tal como fueron formuladas- son muy informativas. Quizás demasiado. En el gráfico van a superponerse y van a ser difíciles de leer.

conteos_p7 %>% 
  rename("nombre" = Pregunta) %>% 
  left_join(diccionario) %>%         #Hasta acá repito lo que hice en el bloque anterior.
  mutate(etiquetas = str_remove(etiquetas, "7 ¿Estaría dispuesto o no estaría dispuesto a permitir que en su casa vivieran personas de ")) %>% 
  kable(caption = "Más legible")

conteos_p7 %>% 
  rename("nombre" = Pregunta) %>% 
  left_join(diccionario) %>%         #Hasta acá repito lo que hice en el bloque anterior.
  mutate(etiquetas = str_wrap(etiquetas, 20)) 

## # A tibble: 10 x 4
## # Groups:   nombre, Respuesta [10]
##    nombre Respuesta           n etiquetas                                 
##    <chr>  <chr>           <dbl> <chr>                                     
##  1 p7_1   NC             715096 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  2 p7_1   No           13580012 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  3 p7_1   NS            2021106 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  4 p7_1   Sí           43552653 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  5 p7_1   Sí, en parte 19951882 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  6 p7_2   NC             835828 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  7 p7_2   No           11550564 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  8 p7_2   NS            2964105 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  9 p7_2   Sí           42893890 "7 ¿Estaría dispuesto\no no estaría\ndisp…
## 10 p7_2   Sí, en parte 21576362 "7 ¿Estaría dispuesto\no no estaría\ndisp…

Gráfico

Ya tenemos todo preparado para hacer el gráfico.

1. Los conteos agrupados y ponderados.
2. Los nombre de etiqueta larga propiamente formateados para que hacerlos legibles.

Pasos:

1. Ubicar la etiqueta de cada pregunta en el eje x y los conteos de respuestas en el eje y.
2. Utilizar el argumento fill = de ggplot para que cada respuesta tenga un color de relleno⁵ igual
3. Especificar position = "dodge"⁶ a geom_bar para barras lado a lado. Por defecto position = "stack" y se generan barras apiladas.
4. Ubicar en el subtítulo del gráfico la parte repetida de la pregunta.

library(hrbrthemes)
migracion %>% 
  select(starts_with("p7_"), Pondi2) %>%  
  gather(Pregunta, Respuesta, -Pondi2) %>% 
  group_by(Pregunta, Respuesta) %>% 
  count(wt = Pondi2) %>% 
  rename("nombre" = Pregunta) %>% 
  left_join(diccionario) %>%
  mutate(etiquetas = str_remove(etiquetas, 
                                "7 ¿Estaría dispuesto o no estaría dispuesto a permitir que en su casa vivieran personas "), 
         etiquetas = str_wrap(etiquetas, 15)) %>% 
  ungroup ()%>% 
  mutate(Respuesta = factor(Respuesta, levels = c("Sí", "Sí, en parte", "No", "NS", "NC"))) -> 
           conteos_p7_etiquetados

conteos_p7_etiquetados %>% 
  ggplot(aes(x = etiquetas, y = n, fill = Respuesta)) + 
    geom_col(position = "dodge") + 
    labs(title = "Actitudes de tolerancia en México", 
       subtitle = "¿Estaría dispuesto o no estaría dispuesto a permitir que en su casa vivieran personas...",
       caption = "Elaboración propia\nDatos Encuesta Nacional de Migración", 
       x = NULL, 
       y = NULL) + 
    scale_y_continuous(labels = scales::comma) + 
    theme_ipsum_rc() 

Descargar la versión para impresión de este gráfico.