Después de la primera del 2022 el Semáforo de las encuestadoras de La Silla Vacía se movió. Invamer sigue siendo la encuestadora mejor calificada. Una encuestadora nueva, la brasileña Atlas Intel, con una metodología de recolección puramente digital, entró en el grupo de las más confiables. Y T&SE Tecnología y Servicios Electorales, una encuestadora de algunos ex socios de Guarumo, se estrenó con resultados regulares.
Esta es la tercera actualización del Semáforo. Acá puede consultar la primera versión.
¿Qué es el Semáforo de las encuestadoras?
El semáforo de La Silla Vacía le da un puntaje a las empresas que hacen encuestas de intención de voto a nivel nacional en las elecciones presidenciales de 2022. Busca separar las encuestas buenas, las regulares y las dudosas, según un modelo de dos criterios que les otorga un puntaje global.
El principal es qué tan acertada fue la casa encuestadora frente a los resultados de las elecciones del 2018 (primera y segunda vuelta) y las de 2022 (consultas y la primera vuelta, hasta ahora). En esta actualización del Semáforo dimos nuevos pesos a estos resultados, privilegiando los más recientes, del 2022 (30% para 2018 y 70% para 2022). Este puntaje se denomina como desempeño y tiene un peso de 75% en la puntuación global.
El segundo criterio saca un puntaje de metodología y transparencia de las encuestas, a partir de varios criterios detallados en la nota metodológica. El puntaje de metodología y transparencia tiene peso de 25% en el puntaje global de las casas encuestadoras.
La escala de 1 a 10 que el modelo le otorga a cada encuestadora es una calificación relativa. La mejor encuesta tiene 10, lo que no implica que sus resultados sean perfectos.
El semáforo no predice qué va a pasar ni se queda quieto. Se seguirá alimentando de las encuestas hechas en este ciclo electoral, por lo que la posición de las encuestadoras puede variar en el futuro.
El Semáforo alimenta el Ponderador de La Silla Vacía, que fue el segundo más acertado para la primera vuelta de varios ejercicios similares de promediadores de encuestas, según el cálculo que hizo el blog Recetas Electorales. También es utilizado como insumo en el ponderador del diario de El País de España, elaborado por Jorge Galindo.
Los detalles completos del modelo están disponibles en la nota metodológica.
Confiable
Invamer
- Puntaje: 10,00/10
- Puntaje en Desempeño:10/10
- Puntaje en Metodología y transparencia:9,5/10
- Dueños:Familia Londoño de la Cuesta
- Con qué sector político tiene relaciones:Centroderecha
- Medios que la han contratado:Noticias Caracol y Blu Radio
- Cómo le fue en 2022:Fue la más acertada: Le pegó a los resultados de Gustavo Petro, Sergio Fajardo y el del voto en blanco. Es la encuesta que más cerca estuvo de los resultados de Rodolfo Hernández a quien subestimó solo por 4.6 puntos porcentuales.
Guarumo
- Puntaje: 8,9/10
- Puntaje en Desempeño:8,9/10
- Puntaje en Metodología y transparencia:8,5/10
- Dueños:Alejandro Pinzón, Felipe Muñoz y Julián Villarreal
- Con qué sector político tiene relaciones:Uribismo
- Medios que la han contratado:Ninguno
- Cómo le fue en 2022:Le atinó a los resultados menos al de Rodolfo Hernández y al de Federico Gutiérrez. Infló el resultado de “Fico” y subestimó al de Rodolfo.
Atlas Intel
- Puntaje: 7,5/10
- Puntaje en Desempeño:7,7/10
- Puntaje en Metodología y transparencia:6,5/10
- Dueños:Andrei Roman
- Con qué sector político tiene relaciones:Sin datos
- Medios que la han contratado:Ninguno
- Particularidades:Se especializa en análisis de datos y de riesgo político para compañías. Ha hecho varias encuestas electorales para países latinoamericanos como Argentina, Chile, Perú y otras para Estados Unidos. Su trabajo se concentra en Brasil.
- Cómo le fue en 2022:Le pegó a la votación de Gustavo Petro. Pero subestimó a Rodolfo por 4,8 puntos porcentuales y sobrestimó a “Fico” y a Fajardo.
GAD3
- Puntaje: 7/10
- Puntaje en Desempeño:6,9/10
- Puntaje en Metodología y transparencia:6,8/10
- Dueños:Narciso Michavila
- Con qué sector político tiene relaciones:Ninguno en Colombia
- Medios que la han contratado:RCN Televisión
- Particularidades:Es la primera vez que publica resultados de una campaña presidencial en Colombia.
- Cómo le fue en 2022:Tomando como referencia los datos de su “tracker” del sábado antes de la veda de encuestas, 21 de mayo, le pegó a todos los resultados de la primera vuelta.
Regular
Centro Nacional de Consultoría
- Puntaje: 7,1/10
- Puntaje en Desempeño:6,3/10
- Puntaje en Metodología y transparencia:10,0/10
- Dueños:Familia Lemoine
- Con qué sector político tiene relaciones:Liberal
- Medios que la han contratado:CM&, Semana
- Cómo le fue en 2022:Le pegó al resultado de todos los candidatos menos al de Rodolfo Hernández, a quien subestimó.
Massive Caller
- Puntaje: 5,6/10
- Puntaje en Desempeño:5,6/10
- Puntaje en Metodología y transparencia:5,6/10
- Dueños:Sin datos
- Medios que la han contratado:Ninguno
- Cómo le fue en 2022:Su mayor descache fue haber subestimado a Rodolfo Hernández por 14,1%. Sobrestimó a Fajardo y a Federico Gutiérrez y subestimó a Petro.
- Particularidades:Empresa mexicana, no está en la lista de encuestadoras del CNE. La campaña de Alejandro Gaviria difundió una medición en diciembre.
T&SE
- Puntaje: 5,5/10
- Puntaje en Desempeño:4,7/10
- Puntaje en Metodología y transparencia:8,6/10
- Dueños:Carlos Ariel Sánchez y Alfonso Portela
- Con qué sector político tiene relaciones:Liberal
- Medios que la han contratado:Ninguno
- Particularidades:Es su primera campaña presidencial y no tiene alianza con medios.
- Cómo le fue en 2022:En esta primera vuelta le pegó a los resultados de “Fico” y Fajardo. Subestimó la votación de Gustavo Petro. Su peor descache fue con Rodolfo Hernández, a quien subestimó por 10,5%.
Yanhaas
- Puntaje: 5,5/10
- Puntaje en Desempeño:4,5/10
- Puntaje en Metodología y transparencia:9,3/10
- Dueños:Oswaldo Acevedo y Harris Interactive
- Con qué sector político tiene relaciones:Uribismo
- Medios que la han contratado:RCN y diarios regionales
- Cómo le fue en 2022:Subestimó por 13% a Rodolfo Hernández. Proyectaba el voto en blanco en 13 por ciento, pero este sólo obtuvo 2%.
Celag
- Puntaje: 5,1/10
- Puntaje en Desempeño:4,5/10
- Puntaje en Metodología y transparencia:7,3/10
- Dueños:Alfredo Serrano Mancilla
- Con qué sector político tiene relaciones:Petrismo
- Medios que la han contratado:Ninguno
- Cómo le fue en 2022: Es la única que fue capaz de predecir el orden de los candidatos. Subestimó a “Fico” y a Rodolfo. Fue la única encuesta que sobreestimó el resultado que obtendría Gustavo Petro.
Dudoso
Medilab App
- Puntaje en Desempeño:2,3/10
- Puntaje en Metodología y transparencia:7,1/10
- Dueños:Sin datos
- Medios que la han contratado:Ninguno
- Cómo le fue en 2022:No estuvo
- Particularidades:No es conocida ni está en la lista de encuestadoras del CNE. La campaña de Alejandro Gaviria difundió una medición a inicios de febrero.
Cifras y Conceptos
- Puntaje en Desempeño:1,8/10
- Puntaje en Metodología y transparencia:6,9/10
- Dueños:César Caballero
- Con qué sector político tiene relaciones:Liberal
- Medios que la han contratado:Ninguno
- Cómo le fue en 2022:No estuvo.
- Particularidades:No hace encuestas públicas, pero a inicios de febrero reveló una que hizo para una empresa y que buscaba ayudar a definir la estrategia electoral del precandidato David Barguil.
Datexco
- Puntaje en Desempeño:1,6/10
- Puntaje en Metodología y transparencia:8,2/10
- Dueños:César Valderrama, José Roberto Arango
- Con qué sector político tiene relaciones:Uribismo
- Medios que la han contratado:W Radio
- Cómo le fue en 2022:No estuvo.
NOTA METODOLÓGICA
Metodología
El semáforo busca informar la interpretación de encuestas con argumentos objetivos y subjetivos claros. Tomamos ideas de otros modelos de evaluación de encuestas, específicamente de FivethirtyEight.com en Estados Unidos. También tuvimos retroalimentación de los expertos Miguel García (Universidad de Los Andes), Jorge Galindo (El País de España), Tomás González (Experto en opinión pública para políticas gubernamentales) y Javier Restrepo (ex Ipsos Napoleón Franco). Rafael Unda asesoró a La Silla en la construcción de la base de datos y los cálculos. La responsabilidad del semáforo es de La Silla Vacía, no de ellos.
La base de datos
El semáforo refleja un modelo con dos puntajes, uno para desempeño y otros para metodología y transparencia. Se construyó a partir de una base de datos que compila la información reportada por las encuestadoras en la ficha técnica de cada medición. El conjunto son las encuestas públicas de intención de voto en las elecciones presidenciales de 2018 y lo corrido de la de 2022, que pretenden representar un universo nacional. Eso excluye a algunas con estudios regionales.
La información que usamos está disponible en el Consejo Nacional Electoral (CNE) en el caso de las encuestadoras que están inscritas ante esa entidad, como lo requiere la ley. Otras, que circulan de manera informal en este ciclo, también fueron incluidas y están en la base de datos del semáforo de las encuestadoras.
El Semáforo parte de un principio de buena fe, que asume que lo reportado por los encuestadores es real, y no hay un proceso de verificación adicional a la información publicada.
Puntaje al desempeño
El puntaje al desempeño refleja qué tan cerca estuvo la última medición de una encuestadora frente al resultado electoral. Toma los resultados de la primera y segunda vuelta del 2018 y de las consultas presidenciales de marzo y la primera vuelta de 2022. Para evaluar los resultados de las consultas, tomamos el porcentaje obtenido por cada candidato dentro de su coalición y los resultados de la participación en cada consulta. Dentro del puntaje de desempeño, las mediciones de primera vuelta de 2022 tiene el 40 por ciento del peso, seguido por las consultas presidenciales de 2022 que pesan el 30% y las mediciones de primera y segunda vuelta de 2018 valen juntas el 30% restante.
A medida que tengamos otros resultados electorales (segunda vuelta) se irá actualizando.
Tomamos las encuestas hechas como máximo 3 semanas antes de las elecciones y calculamos el efecto del margen de error para medir qué tan cerca estuvo su medición del resultado en las urnas. Calculamos la diferencia entre el resultado final de la elección y el valor más cercano del intervalo estimado por la encuesta de acuerdo con el margen de error reportado.
El modelo premia a las casas encuestadoras que publican encuestas cerca a las elecciones y castiga a las que no lo hacen. Consideramos que el mejor termómetro del desempeño de las encuestas son las elecciones reales, y publicar encuestas cerca a esa fecha es la mejor manera de someter su metodología al escrutinio público.
Al puntaje global de desempeño le otorgamos un mayor peso en el puntaje final (75%) porque es un dato objetivo y cuantificable. Además, si bien las encuestas electorales no son predictivas, sí buscan reflejar lo mejor posible la intención de voto, que solo se puede comprobar con la votación real.
Puntaje a la metodología y transparencia
El puntaje a la metodología y transparencia de cada encuestadora tiene un peso menor en el puntaje global (de 25%) y refleja seis componentes que, según el grupo de expertos consultados, sumaban elementos de una buena encuesta.
- Número de mediciones: mide cuántas encuestas de intención de voto ha hecho para las elecciones presidenciales desde el ciclo 2017-2018. A más encuestas más puntaje, pues refleja que la encuestadora dedica recursos y pone más en juego su prestigio en estas mediciones.
- Técnica de recolección: este criterio cualitativo puntúa el método de recolección (presencial en hogares, presencial, telefónico en hogares, celular, o digital). Le da mayor valor a las encuestas presenciales que a las remotas. El método mixto, que combina encuestas presenciales y telefónicas, es el mejor calificado.
- Si está inscrita en el CNE: por exigencia legal, las encuestadoras que hagan mediciones electorales deben estar inscritas ante ese organismo y cumplir unos requisitos. Se penaliza no estar inscrita pues señala baja adherencia a las reglas.
- Número de municipios en los que se encuestó: permite cuantificar lo abarcadora de una encuesta y qué tanto refleja la inversión de recursos para encontrar un universo nacional.
- Días de trabajo de campo: permite cuantificar qué tan rápido “tomó la fotografía” la encuestadora. Entre más rápido mejor, pues refleja un momento puntual de la opinión (las de muchos días pueden mezclar momentos diferentes de la opinión) y la capacidad de desplegar un trabajo de campo robusto.
- Filtro de votantes: esta medida cualitativa le dio un mayor puntaje a las encuestas que hicieron un filtro para encuestar a las personas tienen la intención de hacerlo, lo que permite interpretar mejor la opinión de los posibles votantes.
El puntaje global de metodología y transparencia penaliza a las encuestas que no publicaron información sobre alguno de los seis criterios y le otorga distintos pesos a cada uno de los seis, con mayor peso a la técnica de recolección, el número de municipios y el filtro de votantes. A las categorías cualitativas se les da un puntaje numérico para poder calcular un puntaje general.
Cálculo del puntaje global
El puntaje global de la casa encuestadora combina los puntajes de desempeño y de metodología y transparencia con sus pesos relativos (75% vs. 25%). Cada categoría arrojó un puntaje numérico que fue traducido luego, para mayor claridad, a una escala de 0 a 10. La mejor encuesta en cada categoría tuvo 10, lo que no implica que haya sido una encuesta perfecta, sino que fue la mejor de todas. Las demás se ubicaron en la escala según su distancia con la mejor.
Para calcular la ubicación de la casa encuestadora en el semáforo de tres colores se tuvo en cuenta su ubicación por tercios.
- Confiable (verde): De 10 a 6,6
- Regular (amarillo): De 6,5 a 3,3
- Dudosa (rojo): de 3,2 a 0.
El modelo es dinámico. El puntaje de desempeño se actualizará con los resultados de la segunda vuelta en junio del 2022.
