El semáforo de las encuestadoras: Actualizado después de la primera vuelta

imagen-semaforo-encuestdoras-estatico-06junio.png

Después de la primera del 2022 el Semáforo de las encuestadoras de La Silla Vacía se movió. Invamer sigue siendo la encuestadora mejor calificada. Una encuestadora nueva, la brasileña Atlas Intel, con una metodología de recolección puramente digital, entró en el grupo de las más confiables. Y T&SE Tecnología y Servicios Electorales, una encuestadora de algunos ex socios de Guarumo, se estrenó con resultados regulares. 

Esta es la tercera actualización del Semáforo. Acá puede consultar la primera versión.

¿Qué es el Semáforo de las encuestadoras?

El semáforo de La Silla Vacía le da un puntaje a las empresas que hacen encuestas de intención de voto a nivel nacional en las elecciones presidenciales de 2022. Busca separar las encuestas buenas, las regulares y las dudosas, según un modelo de dos criterios que les otorga un puntaje global. 

El principal es qué tan acertada fue la casa encuestadora frente a los resultados de las elecciones del 2018 (primera y segunda vuelta) y las de 2022 (consultas y la primera vuelta, hasta ahora). En esta actualización del Semáforo dimos nuevos pesos a estos resultados, privilegiando los más recientes, del 2022 (30% para 2018 y 70% para 2022). Este puntaje se denomina como desempeño y tiene un peso de 75% en la puntuación global. 

El segundo criterio saca un puntaje de metodología y transparencia de las encuestas, a partir de varios criterios detallados en la nota metodológica. El puntaje de metodología y transparencia tiene peso de 25% en el puntaje global de las casas encuestadoras.  

La escala de 1 a 10 que el modelo le otorga a cada encuestadora es una calificación relativa. La mejor encuesta tiene 10, lo que no implica que sus resultados sean perfectos. 

El semáforo no predice qué va a pasar ni se queda quieto. Se seguirá alimentando de las encuestas hechas en este ciclo electoral, por lo que la posición de las encuestadoras puede variar en el futuro.

El Semáforo alimenta el Ponderador de La Silla Vacía, que fue el segundo más acertado para la primera vuelta de varios ejercicios similares de promediadores de encuestas, según el cálculo que hizo el blog Recetas Electorales. También es utilizado como insumo en el ponderador del diario de El País de España, elaborado por Jorge Galindo.

Los detalles completos del modelo están disponibles en la nota metodológica.

Invamer
Puntaje 10,00/10
Guarumo
Puntaje 8,9/10
Centro Nacional de Consultoría
Puntaje 7,1/10
Atlas Intel
Puntaje 7,5/10
T&SE
Puntaje 5,5/10
GAD3
Puntaje 7/10
Celag
Puntaje 5,1/10
Yanhaas
Puntaje 5,5/10
Massive Caller
Puntaje 5,6/10
Medilab App
Puntaje 3,3/10

NOTA METODOLÓGICA

Metodología

El semáforo busca informar la interpretación de encuestas con argumentos objetivos y subjetivos claros. Tomamos ideas de otros modelos de evaluación de encuestas, específicamente de FivethirtyEight.com en Estados Unidos. También tuvimos retroalimentación de los expertos Miguel García (Universidad de Los Andes), Jorge Galindo (El País de España), Tomás González (Experto en opinión pública para políticas gubernamentales) y Javier Restrepo (ex Ipsos Napoleón Franco). Rafael Unda asesoró a La Silla en la construcción de la base de datos y los cálculos. La responsabilidad del semáforo es de La Silla Vacía, no de ellos.

La base de datos

El semáforo refleja un modelo con dos puntajes, uno para desempeño y otros para metodología y transparencia. Se construyó a partir de una base de datos que compila la información reportada por las encuestadoras en la ficha técnica de cada medición. El conjunto son las encuestas públicas de intención de voto en las elecciones presidenciales de 2018 y lo corrido de la de 2022, que pretenden representar un universo nacional. Eso excluye a algunas con estudios regionales.  

La información que usamos está disponible en el Consejo Nacional Electoral (CNE) en el caso de las encuestadoras que están inscritas ante esa entidad, como lo requiere la ley. Otras, que circulan de manera informal en este ciclo, también fueron incluidas y están en la base de datos del semáforo de las encuestadoras.  

El Semáforo parte de un principio de buena fe, que asume que lo reportado por los encuestadores es real, y no hay un proceso de verificación adicional a la información publicada. 

Puntaje al desempeño 

El puntaje al desempeño refleja qué tan cerca estuvo la última medición de una encuestadora frente al resultado electoral. Toma los resultados de la primera y segunda vuelta del 2018 y de las consultas presidenciales de marzo y la primera vuelta de 2022. Para evaluar los resultados de las consultas, tomamos el porcentaje obtenido por cada candidato dentro de su coalición y los resultados de la participación en cada consulta. Dentro del puntaje de desempeño, las mediciones de primera vuelta de 2022 tiene el 40 por ciento del peso, seguido por las consultas presidenciales de 2022 que pesan el 30% y las mediciones de primera y segunda vuelta de 2018 valen juntas el 30% restante. 

A medida que tengamos otros resultados electorales (segunda vuelta) se irá actualizando. 

Tomamos las encuestas hechas como máximo 3 semanas antes de las elecciones y calculamos el efecto del margen de error para medir qué tan cerca estuvo su medición del resultado en las urnas. Calculamos la diferencia entre el resultado final de la elección y el valor más cercano del intervalo estimado por la encuesta de acuerdo con el margen de error reportado.

El modelo premia a las casas encuestadoras que publican encuestas cerca a las elecciones y castiga a las que no lo hacen. Consideramos que el mejor termómetro del desempeño de las encuestas son las elecciones reales, y publicar encuestas cerca a esa fecha es la mejor manera de someter su metodología al escrutinio público. 

Al puntaje global de desempeño le otorgamos un mayor peso en el puntaje final (75%) porque es un dato objetivo y cuantificable. Además, si bien las encuestas electorales no son predictivas, sí buscan reflejar lo mejor posible la intención de voto, que solo se puede comprobar con la votación real. 

Puntaje a la metodología y transparencia

El puntaje a la metodología y transparencia de cada encuestadora tiene un peso menor en el puntaje global (de 25%) y refleja seis componentes que, según el grupo de expertos consultados, sumaban elementos de una buena encuesta. 

  1. Número de mediciones: mide cuántas encuestas de intención de voto ha hecho para las elecciones presidenciales desde el ciclo 2017-2018. A más encuestas más puntaje, pues refleja que la encuestadora dedica recursos y pone más en juego su prestigio en estas mediciones.
  2. Técnica de recolección: este criterio cualitativo puntúa el método de recolección (presencial en hogares, presencial, telefónico en hogares, celular, o digital). Le da mayor valor a las encuestas presenciales que a las remotas. El método mixto, que combina encuestas presenciales y telefónicas, es el mejor calificado. 
  3. Si está inscrita en el CNE: por exigencia legal, las encuestadoras que hagan mediciones electorales deben estar inscritas ante ese organismo y cumplir unos requisitos. Se penaliza no estar inscrita pues señala baja adherencia a las reglas.
  4. Número de municipios en los que se encuestó: permite cuantificar lo abarcadora de una encuesta y qué tanto refleja la inversión de recursos para encontrar un universo nacional. 
  5. Días de trabajo de campo: permite cuantificar qué tan rápido “tomó la fotografía” la encuestadora. Entre más rápido mejor, pues refleja un momento puntual de la opinión (las de muchos días pueden mezclar momentos diferentes de la opinión) y la capacidad de desplegar un trabajo de campo robusto. 
  6. Filtro de votantes: esta medida cualitativa le dio un mayor puntaje a las encuestas que hicieron un filtro para encuestar a las personas tienen la intención de hacerlo, lo que permite interpretar mejor la opinión de los posibles votantes.

El puntaje global de metodología y transparencia penaliza a las encuestas que no publicaron información sobre alguno de los seis criterios y le otorga distintos pesos a cada uno de los seis, con mayor peso a la técnica de recolección, el número de municipios y el  filtro de votantes. A las categorías cualitativas se les da un puntaje numérico para poder calcular un puntaje general. 

Cálculo del puntaje global 

El puntaje global de la casa encuestadora combina los puntajes de desempeño y de metodología y transparencia con sus pesos relativos (75% vs. 25%). Cada categoría arrojó un puntaje numérico que fue traducido luego, para mayor claridad, a una escala de 0 a 10. La mejor encuesta en cada categoría tuvo 10, lo que no implica que haya sido una encuesta perfecta, sino que fue la mejor de todas. Las demás se ubicaron en la escala según su distancia con la mejor. 

Para calcular la ubicación de la casa encuestadora en el semáforo de tres colores se tuvo en cuenta su ubicación por tercios. 

  • Confiable (verde): De 10 a 6,6
  • Regular (amarillo): De 6,5 a 3,3
  • Dudosa (rojo): de 3,2 a 0. 

El modelo es dinámico. El puntaje de desempeño se actualizará con los resultados de la segunda vuelta en junio del 2022.

Compartir