El semáforo de las encuestadoras electorales en Colombia

El semáforo busca informar la interpretación de encuestas con argumentos objetivos y subjetivos claros. Tomamos ideas de otros modelos de evaluación de encuestas, específicamente de FivethirtyEight.com en Estados Unidos. También tuvimos retroalimentación de los expertos Miguel García (Universidad de Los Andes), Jorge Galindo (El País de España), Tomás González (experto en opinión pública) y Javier Restrepo (ex Ipsos Napoleón Franco). Rafael Unda asesoró a La Silla en la construcción de la base de datos y los cálculos. La responsabilidad del semáforo es de La Silla Vacía, no de ellos.

La base de datos

El semáforo refleja un modelo con dos puntajes, para desempeño y para metodología y transparencia. Se construyó a partir de una base de datos que compila la información reportada por las encuestadoras en la ficha técnica de cada medición. El conjunto son las encuestas públicas de intención de voto en las elecciones presidenciales de 2018 y lo corrido de la de 2022, que pretenden representar un universo nacional. Eso excluye a algunas con estudios regionales.  

La información que usamos está disponible en el Consejo Nacional Electoral (CNE) en el caso de las encuestadoras que están inscritas ante esa entidad como lo requiere la ley. Otras, que circulan de manera informal en este ciclo, también fueron incluídas. 

Esto quiere decir que el semáforo parte de un principio de buena fe, que asume que lo reportado por los encuestadores es real. 

Puntaje al desempeño 

El puntaje al desempeño refleja qué tan cerca estuvo la última medición de una encuestadora frente al resultado electoral. Toma en cuenta los resultados de la primera vuelta y segunda vuelta de 2018, dándole el mismo peso a cada una. A medida que tengamos otros resultados electorales (consultas presidenciales 2022, primera y segunda vuelta) se irá actualizando. 

Tomamos las encuestas hechas como máximo 3 semanas antes de las elecciones y calculamos el efecto del margen de error para medir qué tan cerca estuvo su medición del resultado en las urnas. Calculamos la diferencia entre el resultado final de la elección y el valor más cercano del intervalo estimado por la encuesta de acuerdo con el margen de error reportado. Tomamos la última encuesta de cada encuestadora. 

A este puntaje le otorgamos un mayor peso en el puntaje final (75%) porque es un dato objetivo y cuantificable. Además, si bien las encuestas electorales no son predictivas, sí buscan reflejar lo mejor posible la intención de voto, que solo se puede comprobar con la votación real. 

Puntaje a la metodología y transparencia

El puntaje a la metodología y transparencia de cada encuestadora tiene un peso menor en el puntaje global (de 25%) y refleja seis componentes que, según el grupo de expertos consultados, sumaban elementos de una buena encuesta. 

1. Número de mediciones: mide cuántas encuestas de intención de voto ha hecho para las elecciones presidenciales desde el ciclo 2017-2018. A más encuestas más puntaje, pues refleja que la encuestadora dedica recursos y pone más en juego su prestigio en estas mediciones.
2. Técnica de recolección: este criterio cualitativo puntúa el método de recolección (presencial en hogares, presencial, telefónico en hogares, celular, o digital). Le da mayor valor a las encuestas presenciales que a las remotas.
3. Si está inscrita en el CNE: por exigencia legal, las encuestadoras que hagan mediciones electorales deben estar inscritas ante ese organismo y cumplir unos requisitos. Se penaliza no estar inscrita pues señala baja adherencia a las reglas.
4. Número de municipios en los que se encuestó: permite cuantificar lo abarcadora de una encuesta y qué tanto refleja la inversión de recursos para encontrar un universo nacional. 
5. Días de trabajo de campo: permite cuantificar qué tan rápido “tomó la fotografía” la encuestadora. Entre más rápido mejor, pues refleja un momento puntual de la opinión (las de muchos días pueden mezclar momentos diferentes de la opinión) y la capacidad de desplegar un trabajo de campo robusto. 
6. Filtro de votantes: esta medida cualitativa le dio un mayor puntaje a las encuestas que hicieron un filtro para encuestar a las personas tienen la intención de hacerlo, lo que permite interpretar mejor la opinión de los posibles votantes.

El puntaje global de metodología y transparencia penaliza  a las encuestas que no publicaron información sobre alguno de los seis criterios y le otorga distintos pesos a cada uno de los seis, con mayor peso a la técnica de recolección, el número de municipios y el  filtro de votantes. A las categorías cualitativas se les da un puntaje numérico para poder calcular un puntaje general. 

Esta categoría de metodología ha ido incluyendo las encuestas publicadas en el ciclo 2021-2022. 

Cálculo del puntaje global 
  
El puntaje global de la casa encuestadora combina los puntajes de desempeño y de metodología y transparencia con sus pesos relativos (75% vs. 25%). Cada categoría arrojó un puntaje numérico que fue traducido luego, para mayor claridad, a una escala de 0 a 10. La mejor encuesta en cada categoría tuvo 10, lo que no implica que haya sido una encuesta perfecta, sino que fue la mejor de todas. Las demás se ubicaron en la escala según su distancia con la mejor. 

Para calcular la ubicación de la casa encuestadora en el semáforo de tres colores se tuvo en cuenta su ubicación por tercios. 

• Confiable (verde): De 10 a 6,6
• Regular (amarillo): De 6,5 a 3,3
• Dudosa (rojo): de 3,2 a 0. 

El modelo es dinámico. Las encuestas del ciclo 2021-2022 se han incluído para alimentar el puntaje de metodología y transparencia. Ahí han aparecido encuestas nuevas que aún no se han medida en desempeño en 2018 (como Massive Caller y Medilab App). El puntaje de desempeño se actualizará con los resultados de las consultas presidenciales de marzo del 2022. 

Click para ver base de datos.