Cómo medir el éxito de una transformación agile con gestión basada en evidencias (EBM)

0
3744
Cómo medir el éxito de una transformación agile con gestión basada en evidencias (EBM)

Embarcarse en un proceso de transformación no se hace sin un buen motivo. Que lo estén haciendo otras empresas puede despertar el interés, pero siempre queda la duda razonable de si va a ser beneficioso en tu situación y contexto particulares. 

Las estadísticas, casos de éxito y, en general, la prueba social son un primer paso. Después, lo más habitual es hacer una prueba piloto, un pequeño experimento con algún equipo o proyecto. Ver cómo sale y, si es satisfactorio, extenderlo progresivamente al resto de la organización.

Y aquí llegamos a las palabras clave: “si es satisfactorio”. ¿Cómo lo sabemos?, ¿se puede medir el éxito de una transformación agile?, ¿y el retorno de la inversión? Ten por seguro que no va a ser una tarea fácil determinarlo.


Tabla de contenidos

1. Introduciendo EBM
2. Métricas de valor
3. Mejora empírica con EBM
4. Midiendo el éxito: la realidad no siempre es tan fácil
5. Conclusiones


Hace unas semanas, hablábamos sobre ser o no ser agile. En dicho artículo (¡léelo si no lo has hecho ya!), te explicaba las razones por las que considero que, en el contexto que nos ha tocado vivir, ser agile puede considerarse una ventaja competitiva, una cuestión de supervivencia para las empresas. 

Una de las características fundamentales del paradigma ágil es la adaptabilidad, que se consigue mediante un enfoque empírico con bucles de feedback cortos. De esta manera es como las empresas, equipos y personas aprenden rápido. 

¿Podemos usar esta idea para medir el éxito de una transformación agile? Claro, es la propuesta de EBM. Es más, ¡lo mejor sería utilizar este enfoque no sólo para medir sino como parte del proceso de transformación!

Introduciendo EBM

La gestión basada en evidencias, EBM (evidence-based management) en adelante, nos puede ayudar a medir el impacto de introducir prácticas ágiles en las organizaciones. Se centra en medir el valor de negocio, pero antes de seguir… ¿qué es valor?

No hay una respuesta única, ya que depende del punto de vista. Don McGreal y Ralph Jocham en su libro The Professional Product Owner mencionan tres: 

  • Como personas, es valioso lo que en última instancia nos proporciona felicidad.
  • Como empresa, es valioso lo que en última instancia nos proporciona dinero (beneficios).
  • Como organización no lucrativa, es valioso lo que en última instancia impacta positivamente en la sociedad o el planeta.

Agile pone el foco en la entrega de valor al cliente (causa), lo cual llevará a generar valor al productor o empresa (efecto). Vamos, hagamos felices a nuestros clientes y ellos estarán más que dispuestos a pagar por ello.

Entonces, ¿cómo medimos la entrega de valor? EBM propone hacerlo mediante un enfoque empírico usando métricas de valor, sobre las cuales hacer un seguimiento temporal. Esto nos ayudará a ser conscientes de la situación actual y situación objetivo, y a tomar las decisiones oportunas para ir ajustando nuestra ruta a lo largo del camino. Estas métricas permiten tener evidencias empíricas sobre la creación de valor.

El problema es que hay muchas cosas que medir. Veamos el panorama general y, si después quieres profundizar, te invito a leer la guía de EBM (versión sólo disponible en inglés) de Scrum.org.

Métricas de valor

EBM organiza las métricas de valor (KVM’s o Key Value Measures) en cuatro áreas clave de valor (KVA’s o Key Value Areas).

Métricas de entrega y de propietario

Antes de pararnos en las áreas y métricas de valor, conviene aclarar que hay dos tipos de métricas de negocio que suelen utilizarse:

  1. Métricas de entrega (delivery metrics). Son importantes para guiar las prácticas operativas, pero peligrosas si se usan como falsas representaciones del valor y se fijan como objetivos. Eso sí, son más fáciles de medir normalmente. Deberían considerarse neutrales en cuanto a la creación de valor (afectan, pero indirectamente).
  2. Métricas de propietario (owner metrics). Reflejan los verdaderos resultados del negocio, siendo verdaderas métricas de VALOR con mayúsculas.

En el mundo del desarrollo software, tendríamos por ejemplo:

Métricas de entrega Métricas de propietario
Velocidad Ingresos
Número de tests Gastos
Cobertura de código Satisfacción del cliente
Defectos Satisfacción de los empleados
Acoplamiento y cohesión Lead y Cycle time
Complejidad ciclomática Ratio de innovación (nuevo vs mantenimiento)
Fallos haciendo la build Uso de funcionalidades
Adherencia a procesos establecidos
Líneas de código

Ahora sí, veamos las áreas KVA y algunas de sus métricas según EBM.

Key Value Areas y Key Value Measures

Las cuatro áreas clave de valor son: Current Value (valor actual), Time to Market (tiempo para lanzar al mercado), Ability to Innovate (capacidad de innovación) y Unrealized Value (valor no realizado o potencial). Paso a explicar brevemente cada una de ellas.

Las cuatro áreas clave de valor de EBM
Las áreas clave de valor de EBM promueven la agilidad y la entrega de valor de negocio

Current Value (CV)

Revela el valor que la empresa (o el producto) entrega a sus clientes, hoy. El objetivo es maximizar la entrega de valor a clientes, empleados y accionistas considerando lo que existe actualmente.

Entre sus métricas clave de valor (KVM) más relevantes están:

  • Ingresos por empleado: Ingresos brutos / número de empleados.
  • Ratio de costes de producto: total de gastos del producto/sistema medido comparados con los ingresos.
  • Satisfacción del empleado. Puede reflejarse en un índice global, basado en datos de encuestas o incluso de otras técnicas como las retrospectivas o los calendarios Niko-Niko
  • Satisfacción del cliente. Puede reflejarse en un índice global, basado en datos de encuestas, de redes sociales, antigüedad media de clientes (fidelidad), etc.

Time to Market (T2M)

Expresa la capacidad de la organización para entregar rápidamente nuevos productos o servicios, o nuevas funcionalidades y capacidades de los ya existentes. Cuanto más se acorte el T2M, más rápido se podrá adaptar a los cambios del mercado.

Entre sus métricas clave de valor (KVM) más relevantes están:

  • Frecuencia de Releases: cada cuánto se entrega una nueva versión de producto.
  • Periodo de estabilización de Release: tiempo dedicado corrigiendo problemas del producto desde que los desarrolladores indican que se puede lanzar una release y cuando realmente se lanza a los clientes.
  • Cycle Time: tiempo desde que se inicia un trabajo hasta que se entrega en una release. 

Ability to Innovate (A2I)

La capacidad de innovar es lo que permite a la organización y a sus productos o servicios cubrir mejor las necesidades de sus clientes y no quedar desfasados. Es un factor clave para la sostenibilidad a largo plazo del negocio, la captación y fidelización de clientes.

Entre sus métricas clave de valor (KVM) más relevantes están:

  • Índice de uso de características: medida de uso de las características del producto. Permite identificar las más usadas y las que rara vez o nunca se usan.
  • Tasa de innovación: porcentaje de esfuerzo o coste dedicado a desarrollar nuevas capacidades del producto, dividido entre el esfuerzo o coste total del producto.
  • Tendencia de defectos: aumento o disminución de defectos desde la última medición.
  • Índice de trabajo en el producto: porcentaje de tiempo que los equipos dedican trabajando en el producto para generar valor.
  • Índice de versiones instaladas: número de versiones de un producto que son soportadas simultáneamente. Lo ideal es que sea sólo una, para minimizar el coste de mantenimiento. Cuantas más versiones se tengan, menos tiempo se tendrá para la innovación.

Unrealized Value (UV)

Sugiere el valor futuro potencial que podría alcanzarse si la organización pudiese cubrir perfectamente las necesidades de todos sus clientes potenciales.

Entre sus métricas clave de valor (KVM) más relevantes están:

  • Cuota de mercado: el porcentaje del mercado controlado por el producto.
  • Gap de satisfacción del cliente o usuario: brecha o diferencia entre la experiencia deseada del cliente o usuario y su experiencia real.

Las organizaciones que cuidan estas cuatro áreas podrán crear valor de manera sostenible. Entregar valor, tener clientes y stakeholders contentos, y empleados satisfechos (CV) es importante, pero las organizaciones deben asegurarse también de poder cubrir las demandas del mercado a tiempo (T2M), siendo capaces de innovar a lo largo del tiempo (A2I). Continuar invirtiendo en el producto o servicio, dotándolo de las capacidades adecuadas, se justifica si hay potencial o margen de mejora (UV).

Mejora empírica con EBM

Llegados a este punto te preguntarás: ¿y por dónde empiezo? EBM propone utilizar un bucle de feedback para el aprendizaje. Consta de los siguientes pasos:

  1. Cuantificar el valor, en forma de métricas KVM. No es más que decidir qué vamos a medir, y para ello hay que tener en mente los objetivos de la organización.
  2. Medir KVM’s. Una vez seleccionadas, y antes de hacer ningún cambio, se deben medir las métricas KVM seleccionadas en el paso anterior para establecer una línea base. Vamos a sacar una foto de la situación de partida para poder valorar posteriormente los avances.
  3. Seleccionar áreas KVA a mejorar. Siendo conscientes de la situación inicial, con medidas reales de las métricas de interés (KVM’s), se podrá tomar una decisión informada sobre las áreas de mejora sobre las que primero actuar. En cada iteración del bucle no deberíamos intentar abordar muchos cambios sobre múltiples áreas KVA; es mejor acortar la duración de la iteración y hacer pequeños cambios que podamos medir rápidamente.
  4. Realizar experimentos, que sean prácticos para mejorar las áreas KVA objetivo. Tras elegir el área a mejorar, seleccionaremos unas pocas prácticas que creamos que mejorarán las métricas KVM asociadas, y ejecutaremos un experimento. Por ejemplo, una empresa de desarrollo software que quiera mejorar la calidad, podría poner el foco en reducir los valores de la métrica KVM “Tendencia de defectos”, incorporando la práctica de XP Test-Driven Development (TDD).
  5. Evaluar resultados. Una vez medidos los resultados el experimento, deben compararse con los valores previos. Si han mejorado las métricas KVM, los cambios realizados se mantienen; en otro caso, se probarían otras mejoras. El bucle continuaría hasta que el área KVA refleje los resultados deseados.

Para el seguimiento de las métricas, se podrán construir cuadros de mando u otro tipo de herramientas visuales que nos faciliten digerir toda la información. Por ejemplo, el siguiente diagrama de araña…

Evolución temporal de métricas KVM
Uso de un diagrama de araña para el seguimiento de métricas KVM

Hasta aquí hemos visto cómo plantear un ciclo para mejorar las áreas clave de valor o KVA’s, de una en una y poco a poco. Estos pequeños pasos, centrados en mejorar la entrega de valor, esperamos que afecten positivamente a nuestro negocio.

Midiendo el éxito: la realidad no siempre es tan fácil

Con el planteamiento de EBM, deberíamos poder abordar la transformación organizacional empíricamente, siguiendo los pasos descritos en el apartado anterior.

¿Y esto es fácil? Bajo mi criterio, en la mayoría de las organizaciones no. Muchas veces te encuentras con empresas en medio de una transformación y ¡se desconoce la situación inicial! Otras veces, no están claros los objetivos, son demasiado difusos o incluso diferentes según a quien preguntes. Y por último, en otras ocasiones hay tantos cambios en paralelo que es prácticamente imposible determinar la causa de los resultados que se están obteniendo.

Por otra parte, tenemos el problema de que algunas acciones generan resultados a largo plazo. Los resultados a largo plazo, siempre que la empresa sobreviva, son los que más afectan al devenir de la misma, pero las acciones que los provocaron se nos solaparán con otras, teniendo de nuevo el problema de no poder establecer una relación de causalidad.

Entonces, ¿tiramos la toalla y pasamos de medir? Yo creo que no; aunque no tengamos certezas en muchos casos, tendremos más probabilidades de acertar, seremos más conscientes de nuestra situación pasada, actual y futuras, veremos tendencias y evoluciones. Vale, seremos miopes, pero no ciegos. Y eso puede marcar la diferencia.

Conclusiones

Volviendo a las preguntas iniciales, y esta es sólo mi opinión… 

¿Podemos medir el éxito de una transformación agile? Sí, utilizando métricas de valor y bucles de feedback cortos. La clave está en saber la situación de partida y nuestros objetivos, e ir corrigiendo el rumbo frecuentemente con la retroalimentación obtenida. La gestión basada en evidencias o EBM nos puede ayudar a esto. Por cierto, si quieres una referencia de las métricas ágiles más habituales para tenerla a mano, hace un tiempo creé unas fichas listas para imprimir que están disponibles para su descarga en la web de Autentia aquí.

¿Cuál es el retorno de la inversión?, ¿se puede cuantificar su impacto en la cuenta de resultados? Me encanta hacer números y proyecciones, pero no serían más que cábalas; no habría certezas absolutas porque, salvo excepciones, los resultados empresariales se ven afectados por múltiples factores, tanto internos como externos, entre los cuales implantar prácticas ágiles es sólo uno más.

¿Me dejo algo en el tintero? ¿Hay algo que no he tenido en cuenta? ¡Comenta y lo seguimos hablando! Recuerda que todo cambia; quizás también lo haga mi opinión… o la tuya. Y si te ha gustado el artículo, compártelo en redes sociales.

Be agile, my friend!

DEJA UNA RESPUESTA

Por favor ingrese su comentario!

He leído y acepto la política de privacidad

Por favor ingrese su nombre aquí

Información básica acerca de la protección de datos

  • Responsable:
  • Finalidad:
  • Legitimación:
  • Destinatarios:
  • Derechos:
  • Más información: Puedes ampliar información acerca de la protección de datos en el siguiente enlace:política de privacidad