Estándares de Calidad en Encuestas de Opinión
En los últimos meses se han dado a conocer encuestas de opinión pública. Ha llamado la atención tanto la variedad de las instituciones ejecutoras como la varianza en los resultados reportados. ¿Es la realidad tan cambiante? ¿hay aspectos metodológicos que considerar? En la antesala de los resultados de la Encuesta CEP, es bueno recordar que no todas las encuestas son confiables.
La calidad de las encuestas tiene varias dimensiones y todas ellas son relevantes. Para poder proceder a una evaluación se requiere analizar los informes metodológicos de éstas. Un primer problema es que, de un total de aproximadamente 30 encuestas entregadas en los últimos 3 meses, solo dos podían exhibir un informe técnico detallado. Difundir encuestas sin entregar suficiente información de respaldo técnico equivale a distribuir productos alimenticios que pueden ser dañinos para la salud sin realizar las advertencias pertinentes.
Aproximadamente 90% de las encuestas divulgadas en los últimos meses han sido telefónicas. Las encuestas telefónicas no son de baja calidad pero, en la medida que sean de cobertura universal y reporten detalladamente aspectos técnicos fundamentales como la no respuesta, indicando tanto las tasas de rechazo y no contacto. Importante es destacar que sus muestras se extraen de un universo o marco muestral constituido por el listado de teléfonos fijos del país; considerando que este grupo supera ligeramente el 50% del total existente, se podría inferir entonces, que todas las encuestas telefónicas en Chile tienen un enorme error de cobertura. ¿Qué sentido tiene hablar de márgenes de error muestral de 3%, por ejemplo, si es que no se advierte a los usuarios que la encuesta es solo representativa del 50% de la población, aquélla con teléfono fijo?, ¿Por qué se difunden los resultados de estas encuestas que carecen de representatividad?. Se argumentará que se pueden hacer correcciones, pero estos procedimientos no están ni validados ni reportados (informes inexistentes). Sobre las no respuestas, tampoco hay información. Otro tipo de consideraciones como de costo podrían llevar a algunas instituciones a poner menos esfuerzo que el deseable en conseguir las respuestas de la muestra seleccionada, lo que podría generar un importante sesgo.
Hay otros aspectos también determinantes de la calidad de las encuestas pero basándonos solo en los ya destacados, el balance es muy negativo. La encuesta CEP, en este marco, es la única encuesta que cumple con los estándares básicos. No se trata de una encuesta extraordinaria. Sólo es una encuesta bien hecha.
Los medios de comunicación (incluyendo los que hacen encuestas telefónicas) debieran advertir sobre los bajos estándares de los datos que informan.
David Bravo
Director Centro de Microdatos
Departamento de Economía, Universidad de Chile