Coletando métricas sobre objetos $n$ $k$

Suponha que eu colete métricas sobre objetos. Estou procurando maneiras válidas de comparar os objetos para que eles possam ser "classificados". Eu acho que isso pode ser um terreno bem trilhado (estatísticas esportivas como classificação total de zagueiros etc.), mas não estou familiarizado com essa área. $n$ $k$ $k$

Quero responder à pergunta que objeto é melhor ?

Informações sobre as métricas coletadas

Para cada métrica , onde varia de , a pontuação da métrica varia de . Observe que algumas dessas métricas terão máximos teóricos como por cento, outros serão apenas a pontuação máxima coletada na amostra (por exemplo, velocidade máxima, altura etc.). $m_i$ $i$ $1 \leq i \leq n$ $m_i$ $[0, r_i]$ $100\%$ $r_i$

Normalizando / padronizando as pontuações métricas

Minha intuição é primeiro normalizar todas essas pontuações entre $[0,1]$ , para que cada pontuação contribua igualmente para a pontuação geral, a ser calculada posteriormente.

Ou seja, para cada métrica $m_i$ a pontuação dessa métrica seria $\frac{m_i}{\text{max}(r_i)}$ , em que $\text{max}(r_i)$ é a pontuação máxima para essa métrica na amostra. Minha intuição não me permite ter certeza de que isso é válido, de modo que é minha pergunta 1: esse procedimento de normalização é válido?

Also for each question the implicit question is I am probably completely wrong, what resources and topics should I be studying?

Ponderando as métricas para minha comparação geral

Suponhamos ainda que desejo ponderar algumas métricas sobre outras. Parece-me algumas abordagens, mas vou descrever uma que estou tentando aproximar.

Eu estava pensando que um método possível seria fazer uma comparação pareada para cada métrica e perguntar a cada comparação: se eu visse uma redução de na métrica , quanto de um aumento na métrica compensaria essa redução ? $10\%$ $m_i$ $m_j$ Se os pares não tiverem influência real um sobre o outro, eu poderia marcar isso como talvez? $0$

Terminaria com uma tabela de valores para minhas ponderações, preenchida com comparações pareadas dessa natureza. Pergunta 2: Eu precisaria ser consistente ao comparar v e v ? Ou eles podem ser não simétricos? Ou seja, se eu disser que uma redução de em precisa ser explicada por um aumento de em , posso dizer que uma redução de em precisa ser explicada por um aumento de em ? Isso seria válido? $m_i$ $m_j$ $m_j$ $m_i$ $10\%$ $m_i$ $20\%$ $m_j$ $10\%$ $m_j$ $50\%$ $m_i$

Talvez eu pudesse ter uma média de cada coluna e ter isso como minha ponderação para a métrica?

Parece-me que um sistema de ponderação como esse diria quantitativamente coisas como "para eu avaliar o objeto sobre o objeto , quando a métrica de é 10% menor que de , eu preciso ver pelo menos um ganho de na métrica " $a$ $b$ $b$ $m_i$ $a$ $m_i$ $20\%$ $m_j$ .

Pergunta 3: E se eu começasse a incluir considerações mais complexas para que as comparações ou compensações não fossem lineares? Ou comparações mutlivariáveis? Talvez algumas pontuações devam ser negativas etc.?

A questão essencial Realmente, eu gostaria de saber quais tópicos e livros devo ler para poder responder a esse tipo de pergunta?

Obrigado

— user2321
fonte

Pergunta incrível.

Pergunta 1 :

Abordo esse problema usando desvios padrão ( ) para criar uma escala padronizada em que é o número de desvios padrão da média ( ) e é o desvio padrão. $n\sigma$ $n$ $\mu$ $\sigma$

Vou usar um exemplo de agente de call center fazendo chamadas. Aqui está uma maneira possível de definir a escala usando : $n$

$m_+ = n$ : métricas que você deseja maximizar. O relacionamento direto, conforme aumenta, aumenta a pontuação, pois diminui a pontuação diminui. Exemplo: número de vendas. $n$ $n$
$m_-$ = -n: métricas que você deseja minimizar. Relação inversa, de modo que diminui, a pontuação aumenta. Exemplo: número de erros cometidos em uma chamada. $n$
$m_{\mu} = -\lvert n\rvert$ : Métricas que você deseja o mais próximo possível da média. À medida que se afasta da média em qualquer direção, a pontuação diminui. Uma pontuação perfeita é 0, na mediana. Exemplo: o número de mensagens de voz / hangups / não chama solicitações que um agente recebeu (deve ser igualmente distribuído). $n$

Então você tem uma escala que é independente das unidades de medida, tamanho / amplitude, etc. Você pode normalizar facilmente a escala acima de onde é sempre o pior e é sempre o melhor. Portanto, cada métrica normalizada se torna: , e $[0, 1]$ $0$ $1$ $\overline m_+$ $\overline m_-$ $\overline m_{\mu}$

Portanto, a solução simples ( ) se torna: $f_s$

f_{s} = \sum {\bar{m}}_{+} + \sum {\bar{m}}_{-} + \sum {\bar{m}}_{μ}

$f_s = \sum \overline m_+ + \sum \overline m_- + \sum \overline m_{\mu}$

Questão 2

Com a solução acima para adicionar pesos assimétricos ( ) fornece a solução ponderada . Cada um pode ser pesado multiplicando cada uma das métricas pelo peso: $f_s$ $W$ $f_w$

f_{W} = \sum_{j_{+}} (W_{+ 1} * {\bar{m}}_{+ 1} + W_{+ 2} * {\bar{m}}_{+ 2} . . . W_{+ j_{+}} * {\bar{m}}_{+ j_{+}}) + \sum_{j_{-}} (W_{- 1} * {\bar{m}}_{- 1} + W_{- 1} * {\bar{m}}_{- 2} . . . W_{- j} * {\bar{m}}_{- j_{-}}) + \sum_{j_{μ}} (W_{μ 1} * {\bar{m}}_{μ 1} + W_{μ 2} * {\bar{m}}_{μ 2} . . . W_{μ j} * {\bar{m}}_{μ j_{μ}})

$f_w = \sum\limits_{j_+} (W_{+1}* \overline m_{+1} + W_{+2}* \overline m_{+2} ... W_{+j_+}* \overline m_{+j_+}) + \sum\limits_{j_-} (W_{-1}* \overline m_{-1} + W_{-1}* \overline m_{-2} ... W_{-j}* \overline m_{-j_-}) + \sum\limits_{j_\mu} (W_{\mu1}* \overline m_{\mu1} + W_{\mu2}* \overline m_{\mu2} ... W_{\mu j}* \overline m_{\mu j_\mu})$

Ou, de forma mais sucinta:

f_{W} = \sum_{j_{+}} W_{j_{+}} * {\bar{m}}_{+ j_{+}} + \sum_{j_{-}} W_{j_{-}} {\bar{m}}_{- j_{-}} + \sum_{j_{μ}} W_{j_{μ}} {\bar{m}}_{μ j_{μ}}

$f_w = \sum\limits_{j_+} W_{j_+} * \overline m_{+j_+} + \sum\limits_{j_-} W_{j_-} \overline m_{-j_-} + \sum\limits_{j_\mu} W_{j_\mu} \overline m_{\mu j_\mu}$

Agora você tem uma pontuação que pode levar em consideração pesos individuais, minimizando métricas, maximizando métricas e métricas desejadas próximas à média.

Questão 3

Exemplo

Agora que você tem a sua pontuação pode normalizá-la novamente e multiplicá-la contra um peso, se desejar uma unidade de medida. Seguindo o exemplo de agente do call center: * venda do agente 1: 1, conectada por 30 min * venda do agente 2: 5, conectada por 5 horas * venda do agente 3: 12, conectada por 4 horas $f_w$

Escolher suas métricas é muito, muito importante.

Exemplo ruim: vendas sozinhas

$\mu = \frac{1 + 5 + 12}{3} = 6$

$Var(f_w) = \frac{5 + 1 + 6}{3} = 4$

$\sigma = \sqrt{Var(f_w)} = \sqrt 4 = 2$

Então agora precisamos do número de desvios padrão:

$a_1 = -2.5 \sigma$ longe da média
$a_2 = -0.5 \sigma$ longe da média
$a3 = +3 \sigma$ longe da média

Portanto, a classificação da pilha do melhor para o pior seria a3, a2, a1. O problema é que o agente 2 é pago / cobrado por muito mais tempo e é realmente o pior. Portanto, você deve ter cuidado ao elaborar as métricas para garantir que elas tenham o efeito desejado. No exemplo acima, seria melhor adotar uma abordagem de vendas / hora como sua métrica e depois multiplicar ao final por quanto tempo o agente faz chamadas.

Melhor Exemplo: Vendas / Hora

Vendas por hora:

$a_1 = \frac{1}{\frac{1}{2}} = 2$
$a_2 = \frac{5}{5} = 1$
$a_3 = \frac{12}{4} = 3$

$\mu = \frac{ 2 + 1 + 3}{3} = 2$

$Var(f_w) = \frac{0 + 1 + 1}{3} = \frac{2}{3}$

$\sigma = \sqrt \frac{2}{3} \approx 0.82$

Portanto, neste caso, os agentes têm os seguintes desvios padrão de : $n$ $\mu$

$a_1 = 0 \sigma$
$a_2 \approx -1.2 \sigma$
$a_3 \approx 1.2 \sigma$

Portanto, agora eles estão na ordem correta, mas ainda não temos um indicador de quanto de um problema é que o agente está atrasado. É mais um problema, porque esse agente foi conectado por um longo período de tempo. Portanto, adicionar um peso do tempo de login fornece o seguinte: $a_2$ $W$

$a_1 = 0$
$a_2 \approx -1.2 * 5 \approx -6.12$
$a_3 \approx 1.2 * 4 \approx 4.90$

Agora você pode normalizar esses números para comparar com outras métricas da mesma maneira. Como você pode ver, está indo bem, está fazendo o melhor e no cenário está muito atrasado. Estes são os resultados que você esperaria. Esse número agora mostra: $a_1$ $a_3$ $a_1$

qualidade (do agente)
severidade (para o negócio)

Essa não é a única maneira de resolver problemas de análise de decisão com vários critérios, mas é uma maneira muito prática. Pelo que entendi, esse método é chamado de "Programação de Objetivos" e é uma maneira bastante direta de chegar a conclusões sobre problemas complexos.

Para mais informações, consulte Charnes, A. e Cooper, WW (1961). Modelos de Gestão e Aplicações Industriais de Programação Linear. Nova York: Wiley.

— hazmat
fonte

Você diz "pergunta incrível", mas não vota?

— Kjetil b halvorsen

Esta é a minha primeira resposta sobre esta parte da troca de pilha ... Então eu não me deixa 😉

— hazmat

Não entendo por que você calcula Variance como (5 + 1 + 6) / 3. Eu esperaria (5 * 5 + 1 * 1 + 6 * 6) / 3 ou (5 * 5 + 1 * 1 + 6 * 6) / 2.

— Qbolec

Combinando várias métricas para fornecer comparações / classificação de k objetos [Solicitação de pergunta e referência]

Exemplo

Exemplo ruim: vendas sozinhas

Melhor Exemplo: Vendas / Hora