Toda evaluación es un compromiso pragmático entre un ideal teórico y limitaciones prácticas. Esto puede ser más relevante para una evaluación realizada rápidamente. Como con cualquier evaluación, sea honesto, transparente y realista sobre las conclusiones que puede sacar de su evaluación.
Identificar consecuencias intencionadas y no intencionadas:
- Un modelo lógico o una teoría del cambio debería guiar la forma en que recopila datos y planifica su evaluación.
- La tecnología puede tener consecuencias inesperadas (buenas y malas) y las propuestas aceleradas pueden pasarlas por alto fácilmente.
- Se puede trabajar con suposiciones desactualizadas, o que solo se aplican a algunos usuarios y no a otros, o puede estar equivocado.
- Es posible que tenga una buena idea de cómo funcionará su producto para los usuarios, pero aún debe evaluarlo para probarlo.
Diseño de estudio:
- La evaluación rápida puede significar ciclos cortos de retroalimentación, más comunes al desarrollar un producto.
- Si es posible, construir una aplicación flexible que pueda ser evaluada con usuarios.
- Tenga cuidado con retroalimentar los resultados antes de esperar que se complete la evaluación.
- Mantenga un buen registro de los cambios que se están realizando para tener esto en cuenta en el análisis de datos.
- Si es posible, utilice los protocolos o herramientas de investigación existentes, use medidas de resultado estándar.
- Asegúrese de considerar las leyes del gobierno en relación al uso de datos.
- Es importante pensar en su enfoque de muestreo y cómo las circunstancias pueden afectarlo.
Elegir métodos de evaluación:
¿Qué métodos son mejores para la evaluación rápida de implementaciones rápidas? ¿Cómo puede llevar a cabo métodos de evaluación rápidamente?
a) Estudios descriptivos
- Las encuestas de experiencia de usuarios o partes interesadas también son relativamente sencillas.
- Las encuestas en línea son una opción. Puede recopilar información sobre el conocimiento, actitudes, y el comportamiento autoinformado.
- Es importante recopilar información básica como:
i) La cantidad de personas que usan el servicio
ii) Quien usa el servicio
iii) Por qué las personas usan el servicio
iv) Cómo las personas interactúan con su servicio
v) Qué resultados están obteniendo del servicio
vi) Enfoques como el uso de la recopilación de datos de rutina y la auditoría deben ser sencillos.
b) Estudios cualitativos
- Los métodos cualitativos pueden llevarse a cabo rápidamente, mediante entrevistas, grupos focales e incluso etnografía.
- Se pueden utilizar métodos remotos (videoconferencias o llamadas telefónicas) en lugar de enfoques cara a cara, cuando corresponda.
- Las pruebas de usabilidad también se pueden hacer rápidamente. Los métodos para las pruebas de usabilidad remota están bien establecidos.
- Compartir y capturar pantallas puede producir una mejor comprensión de cómo interactúa un participante con un producto digital.
c) Estudios comparativos
- Los estudios comparativos son valiosos porque proporcionan información sobre lo que de otro modo podría haber sucedido si su producto no existiera, pero pueden ser difíciles de hacer a la velocidad.
- Hay desafíos con los estudios pre y post. Un problema fundamental es la falta de datos de referencia (medidas tomadas antes de que se implementara su producto) para proporcionar una comparación. Si es posible usar datos históricos, asegúrese de que sean comparables y que sea coherente en la forma en que recopila los datos.
- Si los ensayos controlados aleatorios son demasiado difíciles, los experimentos naturales pueden ser una buena alternativa.
d) Estudios económicos
- Primero, ¿la intervención parece ser una buena relación calidad-precio? ¿El nuevo servicio conduce a los mismos o mejores resultados? Utilice el análisis de costo-consecuencia para evaluar esto. Tanto desde una perspectiva individual, institucional y gubernamental.
- Segundo, ¿es asequible el nuevo producto? Implica una evaluación del impacto financiero (costos y ahorros) de la implementación del nuevo producto. Este es el análisis de impacto presupuestario.
Considere al participante:
- Minimizar la carga sobre los participantes (pueden tener vidas con mucho estrés), cambiar a un método de investigación menos intrusivo o retrasar la evaluación.
- Los métodos en línea de recopilación de datos pueden funcionar bien. Sin embargo, recuerde que los participantes con la mejor tecnología y las velocidades de conexión más rápidas no son representativos de la población para la que está diseñando.
Link: