Por que medição na era da desinformação?

Para entender melhor o que quero dizer com “medição na era da desinformação”, eu recomendo um teste. Se você procurar no Google por “Avaliação de Desempenho“, então você vai encontrar páginas de RH.

Dê uma pausa. Então, faça o teste. Eu espero.

Portanto, quem olha os resultados corre o risco de acreditar, que Avaliação de Desempenho se limita a RH. No entanto, Avaliação de Desempenho é mais amplo. Em especial, é crítica para o sucesso de qualquer mudança ou solução.

O convite inesperado

Eu já havia me preparado para o segundo dia do BA Brazil 2022 do IIBA Brasil. Foi quando recebi novo convite para o primeiro dia. Então, comentei não haver tempo para montar uma apresentação. Mas, acreditava ser muito interessante um espaço aberto.

Chegou o dia. Começamos.

Quando vi, já havia passado uma hora. Exploramos um framework muito interessante para entender melhor a medição na Avaliação do Desempenho .

Estava há 03 anos praticamente isolado. Portanto, estava ansioso. Foi a primeira vez que participava de um evento de “corpo presente” desde a pandemia. Mas o engajamento e participação dos participantes, fez valer o esforço de voltar a público.

Você quer um novo espaço para revisitarmos esse tema?

Quero gravar um vídeo ou organizar um webinar. Enquanto isso, resumo o que discutimos lá. Mas, antes, queria avaliar se há espaço. Se você tiver interesse, então indica aqui.












    Como você avalia o desempenho nesses tempos de medição na era da desinformação?

    Perguntei: Como você avalia o desempenho? Daí, as respostas foram muitas. Consequentemente, houve dificuldade em as organizar, entender e comparar.

    Por exemplo, uma das respostas foi no sentido de comparar o estado após a mudança com o estado anterior. Sem dúvida é um critério válido. No entanto, comparar o quê?

    Enquanto se avançava, surgiram outras respostas como, por exemplo, as estrelas, comum em diversos serviços como o Über. No entanto, o que ela sintetiza?

    Por exemplo, eu tenho uma solução 5 estrelas em média (UAU!), mas isso quer dizer que não há algum ponto de atenção, que deva ser abordado? Quanto obter essas 5 estrelas está me custando? Depois das despesas, quanto me sobra para compor meu resultado?

    O grupo percebeu haver diferentes dimensões a considerar. Consequentemente, se você mistura uma dimensão com a outra, então você compara bananas com laranjas mesmo quando você não quer comparar frutas. Há quem faça isso sem má fé. Mas também, há quem faz isso tal qual quem espalha fake news como projeto.

    Esforço x Resultado com medição na era da desinformação

    Pode parecer óbvio, mas um primeiro nível de análise de desempenho é a distinção entre RESULTADO e ESFORÇO .

    Por exemplo, a quantidade de cartões (ou histórias do usuário) no Desenvolvimento Ágil de uma solução de software pode ser posicionada como parte do Resultado e a quantidade de horas ou dinheiros investidos na entrega daqueles cartões como parte do Esforço.

    Mas isso necessariamente é assim?

    Por exemplo, se o meu interesse é avaliar o desempenho de squads de Desenvolvimento Ágil no nível corporativo, não no nível de cada squad, e o próprio squad cria seus cartões (ou histórias de usuário, então a quantidade cartão pertence a dimensão do esforço, não do resultado. Nesse exemplo, tratar a quantidade de cartões (ou histórias de usuário) como um resultado é Fake News!

    Explico.

    Anti-Inflação

    Imagine o desenvolvimento de uma solução com problemas de desempenho. Além disso, você já entendeu a importância de representar a produção de alguma forma. Nesse sentido, veja a quantidade de cartões ou histórias de usuário como uma representação do resultado.

    Percebe, que isso não nos permite identificar o problema de desempenho ? Não permite, porque se um primeiro cartão não consegue ser entregue por completo, então um novo cartão surge como em um “spin off desse primeiro e é priorizado para uma nova sprint.

    Com intúito de buscar alternativas, você passa a representar a produção por pontos de história ou dias ideais ao invés da contagem de cartões ou histórias. No entanto, a mesma dinâmica se repete porque todos tem a mesma raiz.

    Não apenas isso, há casos nos quais se atribuem o mesmo valor de um cartão ou história do usuário aos defeitos ou débitos técnicos. Por conseguinte, agravando o problema. Isso, porque a resolução de defeitos ou débitos técnicos, que podem ser a causa do problema de desempenho, passa a compor o resultado!

    Chamo de anti-inflação, porque se infla a representação da quantidade de produto enquanto a inflação é um aumento dos preços. No entanto, não é porque se aumenta a representação da quantidade de produtos, que se aumenta a quantidade de produtos!

    Portanto, a quantidade de cartões ou histórias de usuário pertencem à dimensão do esforço quando o propósito é avaliar o desempenho mensal ou trimestral dos squads em um plano corporativo de quem não está imerso na execução.

    As fake news afastam a perspectiva da floresta

    Inicialmente, essa dinâmica pode até não afetar a visibilidade e o progresso para os propósitos citados. No entanto, conforme o tempo passa, a panela começa a ferver. E, em cada bolha estourada, um cartão ou história do usuário se subdivide em vários como em uma Neverending Story (História sem fim).

    Consequentemente, gradualmente se perde uma visão do horizonte como em um roadmap ou plano de entrega.

    O Gráfico de Burn Down

    Mas não tema, porque temos o Gráfico de Burn Down para nos manter com uma perspectiva do todo! (Há ironia aqui).

    Gráficos de Burn Down buscam representar a produtividade de uma maneira curiosa. Observe que tipicamente se coloca produtividade baixa ou alta sem nenhuma referência ao produto!

    Outra Fake News.

    Produtividade

    O Escritório de Estatísticas do Trabalho dos Estados Unidos (Bureau of Labor Statistics) define Produtividade como:

    Produtividade é uma medida de desempenho econômico, que compara a quantidade de bens e serviços produzidos (output) com a quantidade de inputs usados para produzir aqueles bens e serviços.

    Observe que no gráfico de Burn Down se utiliza do esforço como métrica de produto. Assume-se, que se o esforço está sendo investido, então produto está sendo gerado na mesma proporção. No gráfico da ilustração não se tenta disfarçar o uso dessa falsa ou no mínimo nem sempre verdadeira equivalência entre esforço investido e produto entregue. Mas, no geral, tenta-se ser mais discreto nessa falsa equivalência. O uso de pontos de história, ou dias ideias, ou ainda pontos de complexidade cumprem o papel de suavizar o uso do esforço como correlato à produção.

    Portanto, subverte-se a definição de produtividade quando se utiliza o prazo transcorrido como entrada (input) e o esforço investido ou previsto(!) como saída (output).

    A jornada é mais importante do que o destino

    Ao palestrar no evento tive a oportunidade de assistir as palestras dos colegas. Um deles falava sobre Arquitetura Corporativa. Ao comentar sobre a medição, perguntei se, na sua opinião, o que era o mais importante o resultado da medição ou a sua análise. Ele respondeu, ambos.

    Na minha opinião, a análise é mais importante que o resultado da medição. A jornada é mais importante que o destino. Isso, porque é nessa análise e discussão com as equipes, que a gente descobre os problemas a resolver e obtém insight sobre possíveis soluções.

    Por exemplo, na FATTO eu avalio o faturamento mensal global da empresa contra a quantidade de FTE (Força de Trabalho Equivalente; uma maneira mais elegante de dizer “cabeças”). Para esse propósito, o valor monetário do faturamento cumpre o papel de produto (output) e a quantidade de FTE o papel de insumos (input).

    Quadro de referência

    Eu vejo que com esses exemplos e com esses pontos, fica clara a necessidade de um quadro de referência para entendermos melhor o que estamos medindo e qual a interpretação dada a essas medições. Portanto, o objetivo principal desse quadro é nos permitir enquadrar determinado caso de medição concreto e avaliar se ele faz sentido ou é mais uma Fake News.

    No que se refere ao esforço, podemos avaliar o desempenho em três eixos em um quadro de referência para entender as medições:

    Economicidade

    Referências de Custo

    No eixo da Economicidade, normalmente, temos uma preocupação dos departamentos de compras. Nele, se avalia o quão "baixo" é o custo do esforço investido. Ou melhor dizendo, o quão "bom" é preço. Isso, porque é possível se desconfiar na capacidade de um fornecedor (ou profissional) atender aos requisitos medidos em outros eixos nos preços ou custos propostos.

    São as cotações para requisitos definidos. São os custos com os salários e demais insumos.

    Excelência

    Referências de Qualidade

    No eixo da Excelência, se medem os requisitos de qualidade para os resultados, que se pretendem alcançar e como se pretendem alcançar.

    Por exemplo, no desenvolvimento de uma solução de software, a avaliação do grau de aderência aos requisitos de disponibilidade, portabilidade ou usabilidade está no eixo da Excelência. A avaliação da qualificação de profissionais mobilizados nesse desenvolvimento, ou a aderência a diferentes requisitos e o respeito às restrições, idem.

    Para aqueles que gostam de normas no domínio do desenvolvimento de soluções de software, há uma série de padrões ISO / IEC com critérios nesse eixo. Trata-se da série ISO / IEC 25000, também conhecida como SQuaRE (Requisitos e Avaliação de Qualidade de Sistemas e Software)

    Execução

    Custo e Qualidade em Ação

    No eixo da execução, mede-se a quantidade de esforço investido ou que se pretende investir para alcançar o resultado.

    Por exemplo, a quantidade de horas para desenvolver uma nova solução de software reflete uma medição no eixo da execução ao avaliar o esforço investido.

    Ou seja, é nesse eixo, que se posicionam os pontos de história, os dias ideais ou as horas no desenvolvimento de soluções de software; seja representando o passado com as horas investidas ou apropriadas; seja representando o futuro com as estimativas.

    Nem sempre é necessário haver essas duas representações: passado e futuro. Portanto, estimativas de iniciativas com um escopo, cujo investimento é menor de 40 horas, são mais prejudicadas do que beneficiadas pelas estimativas.

    A iniciativa com 50% de probabilidade de acumular menos esforço do que o estimado e, portanto, com 50% de probabilidade de acumular mais, uma vez formalizada como meta, tem ZERO ou algo muito próximo a ZERO chance de exigir menos do que estabelecido.

    Talvez, esse tenha sido um dos motivos para a edição do Scrum de 202o descolocar das estimativas para os objetivos; e com isso, também descolocando do eixo do Esforço para o eixo do Resultado.

    E no que se refere aos resultados, também.

    Efetividade

    Porquê

    No eixo da Efetividade, está a avaliação do impacto da mudança. Aqueles objetivos lá atrás foram alcançados, uma vez que os produtos tenham sido entregues (eficácia) com uma utilização adequada de recursos (eficiência)? É no eixo da Efetividade, que se avaliam as respostas para essas perguntas.

    Aqui reside a avaliação do PORQUÊ houve (ou se pretende promover) a mudança.

    Eficácia

    O quê

    O eixo da Eficácia é onde se mede a entrega dos produtos previstos em um desenho de solução. Todo o esforço investido na mudança promoveu a entrega esperada?

    No caso do desenvolvimento de uma solução de software, o eixo da eficácia pode ser avaliado também pela quantidade de funcionalidade entregue.

    Mas atenção ao representar funcionalidade entregue! Avalie se, de fato, você está avaliando RESULTADO ou ESFORÇO.

    Aqui reside a avaliação do QUÊ se entregou (ou se planeja entregar) com a mudança.

    Eficiência

    Como

    O eixo da Eficiência tem sido um pouco negligenciado nos últimos anos. Afinal, os primeiros anos da década de 2o foram de abundância de recursos e de liquidez. É curioso como lembra, nesse sentido, o início do século passado. E é bom lembrar como se encerrou a década de 20 no século passado com o crash dos mercados mundo afora.

    No eixo da Eficiência se avalia o desempenho da "máquina" em temos dos recursos consumidos e dos resultados entreguês.

    Aqui reside a avaliação de COMO se promoveu (ou se planeja promover) a mudança.

    Sobre a Eficiência Operacional

    Sobre o eixo da Eficiência Operacional na avaliação do desempenho, podemos colocar em menor granularidade outros três eixos subordinados.

    Eficiência no Tempo

    O eixo da Eficiência no Tempo é aquele ao qual se costuma dar mais atenção. É simples. Os prazos estão neste eixo.

    A maior expertise da FATTO está na Gestão do Desenvolvimento de Soluções de Software. Por isso, usamos exemplos nesse domínio. Contudo, esse conhecimento quanto à avaliação do desempenho é válido de forma universal. Falo isso por causa dos exemplos que uso em seguida.

    Métricas como o Lead Time, Cycle Time e Reaction Time refletem o planejamento e a avaliação no eixo da Eficiência no Tempo. E são ferramentas de gestão presentes em quase toda metodologia de gestão Ágil.

    Custo-Benefício

    O segundo eixo explicando a Eficiência Operacional é o do Custo-Benefício. Portanto, o Retorno sobre o Investimento (ROI) ou a Taxa Interna de Retorno (TIR) descrevem essa dimensão do Custo-Benefício. E como dizem: ROI is King!

    Mas a que custo? Quando chega o momento de avaliar ROI, ainda é tempo de corrigir alguma coisa? Se houvesse um eixo adicional com o fim de avaliar o quão bem os recursos foram utilizados, então isso não potencializaria um melhor ROI?

    Sim.

    Mas até recentemente isso não era importante em muitas empresas fascinadas ou desesperadas pela Transformação Digital de tantos novos entrantes em um mercado onde sobrava liquidez para, em muitos casos, aventuras que nunca apresentariam resultados.

    Mas isso está mudando: O Renascimento da Eficiência.

    Rápido.

    E nesse cenário, aumenta a importância de um terceiro eixo para descrevermos os resultados da mudança promovida pelo desenvolvimento de uma solução: o da Eficiência Operacional. Métricas como o Custo Nominal Unitário, a Taxa de Entrega ou a Produtividade descrevem a Eficiência Operacional. E todas elas usam como denominador, no caso do Custo Unitário Nominal ( R$ / Unidade ) ou a Taxa de Entrega ( HH / Unidade ); ou como numerador, no caso da Produtividade ( Unidades / HM ).

    Agora, muito cuidado ao decidir o que representa o PRODUTO quando avaliar o que usar como UNIDADE que o represente.

    Darth Vader

    Inicialmente, vale a pena citar, que a fim de impedir a morte de sua mulher, Padmé Amidala, Anakin Skywalker a matou. E isso acaba sendo a gota d`água para sua transição final para Darth Vader.

    Primordialmente, um dos objetivos da Governança Corporativa é evitar o desperdício de recursos. Em contraste com esse objetivo, desperdícios enormes aconteceram no início do século com iniciativas de implantação de metodologias. Não foram poucas as iniciativas, que privilegiaram a forma pela forma em detrimento do conteúdo. Por exemplo, várias iniciativas de “Implantação de RUP”.

    Eixo de governança: Estrutura Analítica de Produto

    Não basta planejar e avaliar Produtividade, Custo Unitário ou Taxa de Entrega. Outrossim, há que se fazer isso de uma maneira simples, consistente e sem onerar o processo.

    Com efeito em Soluções de Software, é necessária uma Estrutura Analítica de Produto (EAP). Dessa forma, ela dá estrutura às funcionalidades, definidas em um nível padrão e em uma perspectiva de negócio.

    Portanto, a EAP  não se baseia diretamente nos itens do Backlog das squads. Mas, permite o nexo entre itens do Backlog, como cartões ou histórias do usuário por exemplo com às folhas da EAP. Com isso, a EAP mantem a consistência na representação do que se  entrega ao planejar e avaliar o desempenho, mesmo ao longo de várias ondas de entrega.

    A EAP, tal qual a solução correspondente, é dinâmica. Por conseguinte, a EAP em baseline evolui para uma nova versão a cada nova entrega.

    Conclusão

    Decerto, a FATTO tem soluções prontas para esses dois objetivos. Em síntese, são soluções baseadas em serviços de Escritório de Métricas. No entanto, buscando simplificar a medição para propósitos diferentes de estimar horas para propostas ou determinar o valor de faturas.

    Desse modo, a FATTO conta com alternativas como o Ponto de Função Simples e o MESUR. Em primeiro lugar, o MESUR é um produto de software na modalidade de Software as a Service. Em resumo, seu objetivo é suportar todo o fluxo de informações na medição da produção de soluções software e automatizar cálculos. Com efeito, usa métodos consagrados como padrões de direito e de facto. Dessa forma, ele é parte integrante da Plataforma de Gestão de Software oferecida pela FATTO em conjunto com os serviços oferecidos pelo Escritório de Métricas e o Centro de Orçamento.

    Em suma, uma das características do MESUR é a construção e manutenção da EAP nos moldes que a descrevemos aqui.

    Por fim, não deixe de falar comigo e com a Vanessa para conhecer melhor como a FATTO ajuda você a evitar desperdícios e aumentar sua eficiência operacional, com transparência e agilidade.

    Publicações afins

    No final de 2020, escrevi na MetricsView sobre Avaliação de Desempenho. Se você tiver interesse, então pode consultá-lo em:

    Produtividade e Eficiência de Software pós COVID-19