Radiografía a las encuestas en un clima de escepticismo: Cómo se elaboran las principales mediciones en Chile
En el último tiempo, las predicciones han errado los resultados dentro y fuera de Chile. Aquí, un análisis a la construcción y la forma en que se deben leer las encuestas CEP, Cadem, Agenda Ciudadana y Pulso Ciudadano.
SANTIAGO.- Si las cosas hubieran salido como las encuestas lo predijeron, habitaríamos un mundo diferente: el Reino Unido habría rechazado el Brexit, Colombia habría aprobado el referéndum de paz y Hillary Clinton sería Presidenta de los Estados Unidos. Pero casi todas las mediciones en torno a esos tres eventos erraron.
Ocurrió fuera de Chile y también se replicó dentro: Jorge Sharp fue elegido alcalde de Valparaíso, en contra de los pronósticos que lo señalaban como una carta sin posibilidades de lograr la elección. Para las presidenciales, las mediciones también erraron: Beatriz Sánchez sacó 12 puntos más de los que le pronosticaban las encuestadoras, y el actual Presidente casi diez puntos menos.
En el momento hubo mea culpas. "Entendemos las críticas y nos haremos cargo de ellas. Los resultados electorales de este domingo nos plantean nuevos desafíos y nos obligan a redoblar los esfuerzos para que nuestra encuesta y la estimación que hacemos en base a ella sea más precisa", dijo Cadem.
Sin embargo, aunque han estado sometidas al cuestionamiento público, las encuestas siguen siendo una herramienta muy utilizada para intentar leer las preferencias de la población e instalar temas de debate. Mes a mes, se dan a conocer sus resultados y elaboran análisis en torno a ellas.
Este jueves fue el turno de la encuesta Agenda Ciudadana, realizada por Criteria Research. La medición mostró que luego de tres meses de caída, la aprobación del Presidente Sebastián Piñera ascendió hasta un 30%, y reafirmó que las preferencias presidenciales de la población para un nuevo ciclo siguen siendo Joaquín Lavín y Beatriz Sánchez.
A un año de nuevas elecciones municipales, la pregunta sigue en el ambiente: ¿Se debe seguir creyendo en las encuestas? ¿En cuáles?
Entender las encuestas
Para el académico del Instituto de Asuntos Públicos de la U. de Chile, Miguel Ángel López, que se especializa en el estudio de las encuestas de opinión pública, la clave para utilizarlas de manera correcta es "entender cuáles son sus características". Con el paso del tiempo y la aparición de nuevas tecnologías, explica, las encuestas han ido evolucionando.
"Hay una diferencia muy grande en la preocupación que se tenía con las metodologías hace diez años y la que se tiene ahora. Antes se discutía mucho sobre el tipo de muestra y se hacían principalmente persona a persona. Con el paso del tiempo, esto es mucho más complicado: como no existe ningún organismo regulador, se presentan todo tipo de encuestas de empresas", relata.
La encuesta CEP se hace en persona, la Cadem por teléfono y las que realizan Criteria y Activa se hacen a través de internet
Por un "organismo regulador", López no habla de establecerlo por ley. "Algún tipo de comité de ética o una asociación de encuestadores debería establecer normativas", dice. Por ahora, las mediciones se autorregulan, casi siempre atendiendo a normas internacionales.
"Ese es gran parte del problema: quién las va a controlar. En EE.UU., los que están controlando ahora son los mismos medios de prensa. CNN tiene un programa para decidir, estableció ciertas características y las que no entreguen ciertos datos, no van a ser reporteadas", cuenta.
La clave estaría en distinguir cuáles de esas mediciones se pueden considerar rigurosas, conociendo sus particularidades, la forma en que se recolectó la información y entendiendo su metodología. Solo a partir de esa base se podrían comenzar a interpretar sus resultados.
¿Cuál es el escenario en Chile?
Actualmente, en Chile se realizan varias mediciones de manera periódica que cuentan con espacio en los medios de comunicación. Una de las más establecidas es la que realiza el Centro de Estudios Públicos, conocida como encuesta CEP, que nació en 1987. Este domingo, se anunció que el coordinador del área de Opinión Pública, Ricardo González, dejará el CEP en diciembre para dar paso a la investigadora Carmen Le Foulon.
En términos prácticos, se trata de una encuesta realizada a través de entrevistas presenciales individuales, basadas en un cuestionario. En la última medición, se encuestó a un total de 1.380 personas en una muestra estratificada, aleatoria y probabilística a lo largo de todo el país.
La CEP se realiza una o dos veces al año, una frecuencia menor a la de Cadem, que sale semanalmente y se realiza a través de encuestas telefónicas a celulares de prepago y postpago. Se trata también de un muestreo probabilístico, aleatorio y estratificado por región.
Al ser telefónica, su contexto es diferente. "En el pasado, los números de teléfono estaban asignados a ciertas zonas, entonces se sabía que un número correspondía a un lugar. En la actualidad, casi todas estas encuestas se hacen con teléfonos móviles y es complicado, porque tú no sabes realmente quién es esa persona ni cuáles son sus características específicas", plantea López.
Por otra parte, están las mediciones realizadas por Criteria Research (Agenda Ciudadana) y Activa Research (Pulso Ciudadano), que comparten varias características: se realizan a través de encuestas por internet a una muestra no probabilística, estratificada proporcionalmente por variables de edad, nivel socioeconómico, sexo y zona.
Adicionalmente existe la encuesta "Panel Ciudadano" de la U. del Desarrollo, que no se realiza con periodicidad pero que tiene a su haber la predicción más exacta de los resultados de la segunda vuelta presidencial, anticipando un 54,6% para Piñera y 45,4% a Guillier. Basado en la técnica del people meter para medir el rating de televisión, el equipo de la UDD comenzó a reclutar de manera aleatoria y representativa a un panel de 1.200 personas.
Revisa las principales predicciones de las últimas versiones de cada encuesta periódica.
Resultados de las últimas encuestas
Cadem
Criteria
CEP
Activa
Aprobación Presidente Sebastián Piñera
34%
30%
29%
14,7%
Desaprobación Presidente Sebastián Piñera
55%
64%
40%
32%
Preferencia presidencial - Joaquín Lavín
9%*
16%
56%**
17,8%
Preferencia presidencial - Beatriz Sánchez
8%*
11%
33%**
10,3%
* Medición de julio | ** No mide preferencia presidencial directamente, sino aprobación de cada uno en cuanto personajes políticos.
Los puntos a considerar
Para López, tanto las encuestas telefónicas como aquellas que se autoadministran por internet tienen consideraciones sensibles en su metodología. "Ninguna es realmente probabilística —o sea, la probabilidad de que cada individuo sea incluido dentro de esa muestra se desconoce— y hay que manejar los datos con bastante cuidado. Hoy día a todo lo llaman encuesta, y la característica que tiene una encuesta es que se consulta a un grupo de personas que va a ser representativo de un universo mayor", plantea.
Entre los datos que transparenta cada encuesta, se puede constatar que el nivel de respuesta de Cadem es de un 17%, de Criteria es un 33%, de la CEP un 77% y de Activa un 12%. Ahí, dice, hay un punto de análisis. "Si una persona no te contesta, pasas a otra, y así sucesivamente. Si responde 1 de cada 30, ¿vas a asumir que esa persona que te respondió tiene la misma opinión que todas las que no te respondieron? Eso es absolutamente incierto", expone.
"Hay una diferencia muy grande en la preocupación que se tenía con las metodologías hace diez años y la que se tiene ahora. Como no existe ningún organismo regulador, se presentan todo tipo de encuestas de empresas"
Miguel Ángel López, académico
Con respecto a los cuestionarios por internet, explica que se realiza a personas que aceptan participar. "Se hace una especie de muestreo dentro de la gente que está ahí, pero se debe hacer con mucho cuidado. Los datos se testean para que sea lo más parecido posible a la realidad. En las elecciones, la UDD hizo una encuesta de este estilo y fue la que estuvo más cercana. Dan ciertos resultados", comenta, aunque advierte que se deben evaluar caso a caso.
En el país, a su juicio, el principal problema es la falta de transparencia de los datos y hace una crítica al sistema universitario: no se enseña a los estudiantes de Periodismo a reportear encuestas. "Hay una forma de enseñarle a las personas a hacer preguntas adecuadas: usted pertenece a tal partido y está detrás de tal encuesta, ¿su medición tiene alguna tendencia?", ejemplifica. "Pero nadie pregunta, nadie responde y al final nadie sabe de quién son", agrega.
"Lo principal que se debiera hacer es entregar los cuestionarios y las bases de datos, y presentar una ficha técnica. Antiguamente se hacía, pero hoy casi ninguna lo hace o se hace a voluntad. En Perú, por ejemplo, se publica todo, mientras que en Argentina no se transparenta nada. En Chile se especifican fechas de aplicación, cantidad de entrevistados, ciudades donde se hizo. Se dice algo, pero todavía es insuficiente", concluye.
Revisa aquí la ficha técnica de las encuestas chilenas.
Cadem
Encuesta: Plaza Pública.
Realizada por: Cadem.
Quiénes la encabezan: Karen Thal / Roberto Izikson.
Frecuencia: Semanal.
Técnica de recolección de datos: Encuestas telefónicas aplicadas a través de sistema Cati a celulares de prepago y post pago.
Muestreo: Probabilístico con selección aleatoria de individuo y estratificado previamente por región.
Universo: Hombres y mujeres mayores de 18 años, habitantes de las 16 regiones del país, en 181 comunas.
Criteria
Encuesta: Agenda Ciudadana.
Realizada por: Criteria Research.
Quiénes la encabezan: Cristián Valdivieso / Andrés Varas / Marcos Silva.
Frecuencia: Mensual.
Técnica de recolección de datos: Encuestas autoadministradas mediante el uso de un panel certificado de acceso online.
Muestreo: No probabilístico aleatorio, estratificado por cuotas con resultados ponderados por zona, sexo, edad y nivel socioeconómico.
Universo: Hombres y mujeres mayores de 18 años, de los niveles socioeconómicos ABCD y residentes de todo el país.
CEP
Encuesta: CEP.
Realizada por: Centro de Estudios Públicos.
Quiénes la encabezan: Juan Obach / Juan Andrés Camus.
Frecuencia: Anual o bianual.
Técnica de recolección de datos: Entrevistas individuales cara a cara, basadas en un cuestionario estructurado.
Muestreo: Estratificado (por región y zona urbana/rural), aleatorio y probabilístico en cada una de sus tres etapas (manzana-hogar-entrevistado).
Universo: Población mayor de 18 años (urbana y rural) residente a lo largo de todo el país (se excluye Isla de Pascua) en 128 comunas.
Activa
Encuesta: Pulso Ciudadano.
Realizada por: Activa Research.
Quiénes la encabezan: Ramón Cavieres.
Frecuencia: Mensual.
Técnica de recolección de datos: Entrevistas por medio de un panel online representativo a nivel nacional, con un cuestionario de 15 minutos.
Muestreo: No probabilístico estratificado proporcionalmente por las variables de género, edad, nivel socioeconómico y zona.
Universo: Hombres y mujeres mayores de 18 años de grupos socioeconómicos ABC1, C2, C3 y DE, de Santiago y regiones, en 179 comunas a nivel nacional.
Cadem
Criteria
CEP
Activa
Muestra total
2.822 (cuatro semanas)
795
1.380
1.017
Error muestral
1,8%
*3,5%
3%
*3,1%
Confianza
95%
*95%
95%
*95%
Nivel de respuesta
17%
33%
71%
12%
* Al ser un diseño no probabilístico, no es posible estimar un error muestral. Los datos son referenciales para una muestra probabilística.
