Como mostrar que uma estatística suficiente NÃO é mínima o suficiente?


8

Meu problema de lição de casa é dar um contra-exemplo em que uma determinada estatística não é, em geral, mínima o suficiente. Independentemente dos detalhes de encontrar um contra-exemplo específico para essa estatística específica, isso levanta a seguinte questão para mim:

Pergunta: Como se pode formular a condição de não ser uma estatística mínima suficiente de uma maneira que seja possível provar que uma estatística suficiente satisfaz a condição?

Trabalho até agora: A definição de estatística mínima suficiente no meu livro (Keener, Estatística Teórica: Tópicos para um Curso Básico ) é a seguinte:

  • Uma estatística é o mínimo suficiente sse é suficiente e, para cada estatística suficiente existe uma função tais que ae .T T ˜ T f T = f ( ˜ T ) PTTT~fT=f(T~)P

Observe que (ae ) significa que o conjunto em que a igualdade falha é um conjunto nulo para todas as distribuições de probabilidade no modelo estatístico , .P P P P PPPPPP

Tentando negar isso, chego a:

  • Uma estatística não é mínima o suficiente se pelo menos um dos seguintes itens for válido: TT
    1. TT não é suficiente.
    2. Existe, pelo menos, uma estatística suficiente para os quais há nenhuma função tais que ae P .˜ TT~f T = f ( ˜ T )fT=f(T~)P

Portanto, se uma estatística é suficiente, parece que seria extremamente difícil mostrar que ela não é mínima o suficiente, mesmo que não seja suficiente. (Porque seria preciso mostrar 2. em vez de 1., uma vez 1. é falso - mas 2. seria muito difícil mostrar porque, mesmo que se tenha uma estatística counterexample ~ T em mente, ainda se tem para mostrar a inexistência de qualquer função com essa propriedade. E a inexistência é muitas vezes difícil de mostrar.)T~

Meu livro não fornece condições equivalentes (isto é, necessárias e suficientes) para que uma estatística seja uma estatística mínima suficiente. Nem sequer fornece condições alternativas necessárias para que uma estatística seja uma estatística suficiente mínima (além de ser uma estatística suficiente).

Portanto, para o meu problema de lição de casa, se eu não posso mostrar que a estatística não é suficiente (porque é), então como eu poderia mostrar que não é suficiente o suficiente?


3
Você já pensou em começar com uma estatística mínima suficiente e depois ampliá-la para incluir mais componentes?
whuber

3
Na matemática em geral, muitas vezes se prova a inexistência de algo assumindo que ele existe e usando-o para encontrar uma contração.
Kodiologist

2
Uma estatística é uma função com valor vetorial dos dados. Tem componentes. Por exemplo, uma estatística mínima suficiente para a família de distribuições Normal é o vetor vetorial que consiste na média e variação da amostra. Juntar mais componentes - incluir a distorção da amostra e curtose, por exemplo - fornece uma estatística com quatro componentes. Minha sugestão apenas afirmou o óbvio: essa nova estatística é obviamente suficiente, porque seus dois primeiros componentes já são suficientes. Mas é mínimo o suficiente?
whuber

2
Não vejo como alguma dessas observações sobre bijeções ou homeomorfismos poderia ser relevante. Você está usando alguma definição incomum de "estatística" ou "suficiente"?
whuber

3
Você parece estar usando algum tipo de definição não convencional de suficiência. No meu exemplo, tudo o que importa é que as novas estatísticas sejam estatísticas genuínas - funções mensuráveis ​​dos dados. O mapa de R 4 a R 2 (que recupera as duas originais estatísticas, o mínimo suficiente um) é mensurável (de facto, diferenciável). É tudo o que você precisa verificar. R4R2
whuber

Respostas:


1

Como você declarou:

Se existem x 1 , x 2 Xx1,x2X tal que f ( x 1 ) = f ( x 2 )f(x1)=f(x2) mas g ( x 1 ) g ( x 2 )g(x1)g(x2) , então gg não pode ser escrito como uma função de ff , ou seja, existe não existe função hh com g = h fg=hf .

Assim, por exemplo, no caso em que X 1 , . . . . , X nX1,....,Xn são variáveis ​​aleatórias independentes de Bernoulli. Podemos provar que ( x 1 , . . . . , X n )(x1,....,xn) não é minimamente suficiente, mostrando que não é uma função de Σ x ixi . Isso é óbvio, já que a função deve mapear 11 para ambos ( 1 , 0 , 0 ... , 0 , 0 , 0 )(1,0,0...,0,0,0) e( 0 , 0 , 0 ... , 0 , 0 , 1 )(0,0,0...,0,0,1) .


2

Eu estive pensando sobre esse problema um pouco mais recentemente, e aqui está o que eu inventei.

Deixe Ω ser um espaço de probabilidade, então uma variável aleatória X é uma função mensurável X : Ω X , onde X é um espaço mensurável ( X tem um designado σ -álgebra, e X é mensurável no que diz respeito a esta σ -álgebra eo σ -álgebra em Ω ). A distribuição de X é apenas a medida de retração em X , ou seja, P X ( A ) = P Ω ( X -Ω XX: Ω XXXσXσσΩXX1 (A)). Então umaestatísticadeXé qualquer função mensurável *f: X Y , onde Y é outro espaço mensurável arbitrário.PX( A ) = PΩ( X- 1( A ) )Xf:XYY

Dadas duas estatísticas f : XY , g : XZ , o que significa " g ser uma função de f "?f:XYg:XZgf

Tanto quanto posso dizer, parece significar que existe uma função ** mensurável h : YZ tal que g = h f , ou seja, que g pode ser fatorado por f .h:YZg=hfgf

(Em outras palavras, " g deve ser bem definido como uma função em f ( X ) Y ".)gf( X) Y

Então, quando é possível esse fatoramento? Vamos pensar em termos de relações de equivalência. Especificamente, defina a relação de equivalência f em X por x 1 f x 2fXf ( x 1 ) = f ( x 2 ) , da mesma forma, defina a relação de equivalênciag em X por x 1 g x 2x1fx2f( x1) = f( x2)gXg ( x 1 ) = g ( x 2 ) .x1gx2g( x1) = g( x2)

Em seguida, a fim de g a ser factorável por F , as relações de equivalência ~ f e ~ g necessidade de ser compatíveis uns com os outros, no sentido em que, para qualquer *** x 1 , x 2X , x 1 ~ f x 2gffgx1, x2Xx 1 g x 2 , ou seja, g não pode pegar dois elementos equivalentes em f e mapeá-los para valores que não são equivalentes em g , ou seja, " g não pode desfazer a redução de informações anteriormente executada por f ".x1fx2x1gx2gfggf

Em outras palavras, g deve ser bem definido como uma função em X / ff ( X ) , ou seja, deve existir uma função ˜ g : X / fZ tal que g = ˜ gπ f , onde π f é a projeção canônica XX / f . (Para aqueles desconfortáveis ​​com o absurdo abstrato, π f é essencialmente f , egX/ ff( X)g~: X/ fZg= g~πfπfXX/ fπff˜ g é essencialmenteh. A formulação acima apenas torna as analogias com outras situações mais claras.)g~h

Nas palavras mais simples possíveis, g pode ser escrito como função de f se e somente se, para qualquer x 1 , x 2X , f ( x 1 ) = f ( x 2 )gfx1, x2Xg ( x 1 ) = g ( x 2 ) .f( x1) = f( x2)g( x1) = g( x2)

Por exemplo, considere X = Y = Z = R e X uma variável aleatória arbitrária com valor real e, em seguida, g : x x 2 pode ser escrito como uma função de f : x x , mas não vice-versa, porque x 1 = x 2X= Y= Z= RXg:xx2f:xxx 2 1 = x 2 2 , mas 1 2 = ( - 1 ) 2 mas 1 - 1 .x1=x2x21=x2212=(1)211

Em particular, suponha que toda classe de equivalência em f seja um singleton (isto é, f é injetivo ). Então g sempre pode ser escrito como uma função de f , pois X / fX , ou seja, f ( x 1 ) = f ( x 2 )ffgfX/fXx 1 = x 2 significa que x 1 = x 2f(x1)=f(x2)x1=x2f ( x 1 ) = f ( x 2 ) (em geral, para f não necessariamente injetável, apenas uma direção vale), portanto nossa condição se torna x 1 = x 2x1=x2f(x1)=f(x2)fg ( x 1 ) = g ( x 2 ) , que é trivialmente satisfeita paraqualquer g : XZ . (Para definir h , ele pode fazer o que quiser em Yf ( X ) desde que seja mensurável e, em seguida, para qualquer y f ( X ) , ou seja, tal que y = f ( x ) para alguns x X , defina h para ser hx1=x2g(x1)=g(x2) g:XZhYf(X)yf(X)y=f(x)xXh: y = f ( x ) g ( x ) . Isso é bem definido quando f é injetivo, porque existe umúnico x X tal que f ( x ) = y . De maneira mais geral, isso é definido apenas quando, independentemente de qual x escolhemos em f - 1 ( y ) , g ( x ) ainda é o mesmo valor, ou seja, f ( x 1 ) = fh:y=f(x)g(x)f xXf(x)=yxf1(y)g(x)( x 2 ) ( = y ) g ( x 1 ) = g ( x 2 ) .)f(x1)=f(x2) (=y)g(x1)=g(x2)

Além disso, olhando o Teorema 3.11 em Keener, sua declaração é meio desajeitada, mas pensando nos termos acima, acredito que pode ser reescrita como:

Suponha que T seja uma estatística suficiente ****. Então, uma condição suficiente para que T seja mínimo o suficiente é que ela possa ser escrita em função da razão de verossimilhança.TT

A partir disso, fica imediatamente claro que a razão de verossimilhança deve ser por si só mínima o suficiente.

Isso também leva à conclusão de que:

Se existem x 1 , x 2X tal que f ( x 1 ) = f ( x 2 ) mas g ( x 1 ) g ( x 2 ) , então g não pode ser escrito como uma função de f , ou seja, existe não existe função h com g = h f .x1,x2Xf(x1)=f(x2)g(x1)g(x2)gfhg=hf

Portanto, a condição não é tão difícil de mostrar como eu pensava.


* Keener não trata da questão de saber se uma estatística precisa ser uma função mensurável ou apenas uma função arbitrária ou não. No entanto, tenho certeza de que uma estatística deve ser uma função mensurável, porque , caso contrário, não poderíamos definir uma distribuição para ela , ou seja, uma medida de retração.

** Se h não fosse mensurável, teríamos uma contradição porque f e g são mensuráveis ​​e a composição de funções mensuráveis ​​é novamente mensurável. No mínimo, h deve ser mensurável restrito a f ( X ) Y , embora eu ache que isso significaria, na maioria dos casos razoáveis, que h teria que concordar com f ( X ) com uma função mensurável em todo Y (pegue h | f ( X ) em f ( X )hfghf(X)Yhf(X)Yh|f(X)f(X)e, por exemplo, z em Y f ( X ) se existir um ponto mensurável z Z , observe que f ( X ) e Y f ( X ) devem ser mensuráveis ​​em Y ), de modo que o wlog h possa ser considerado mensurável em todos Y .zYf(X)zZf(X)Yf(X)YhY

*** Pelo menos isso é necessário e suficiente para a existência de uma função arbitrária fatorando g e acima de f , e acho que ** implica que, se existe uma função arbitrária, essa função também deve ser mensurável, uma vez que f e g são, ou seja, seria realmente uma estatística YZ .gffgYZ

**** A condição dada é equivalente a T ser suficiente pelo teorema da fatoração, 3.6.T


1
Como você define a taxa de verossimilhança?
Xian

@ Xi'an Eu realmente não me lembro de todas as coisas estúpidas que escrevi acima, para ser honesto, não tenho certeza de que parte você está se referindo. Se você está sugerindo implicitamente que primeiro prove que a estatística da razão de verossimilhança é mínima o suficiente e reduza qualquer outra prova de suficiência mínima a uma "equivalência de suficiência" adequada com a estatística da razão de verossimilhança, que provavelmente é útil na prática, mas pelo menos teoricamente só parece chutar a lata pela estrada (porque, então, como se compreende a prova de suficiência mínima da estatística LR?)
Chill2Macht
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.