Eu gostaria de realizar uma análise multivariada em nível individual em pequenos níveis de agregação geográfica (distritos de coleta de censo da Austrália). Claramente, o censo não está disponível nesses pequenos níveis de agregação por razões de privacidade, por isso estou investigando outras alternativas. Quase todas as variáveis ​​de interesse são categóricas. Tenho dois conjuntos de dados à minha disposição:

• A amostra do censo de 1% está disponível em um nível muito maior de agregação espacial (uma área com uma população de ~ 190.000 e vasta segregação espacial de dados demográficos).

• Tabelas de frequência para as variáveis ​​em que estou interessado no nível da área pequena (500 áreas pequenas, pop média = 385, dp = 319, mediana = 355).

Como posso usar esses dois conjuntos de dados para simular uma distribuição populacional no nível da área pequena o mais próximo possível da população real da área pequena?

Compreendo que pode haver métodos de rotina para fazer isso; nesse caso, um ponteiro para um livro ou artigos relevantes de periódicos seria muito apreciado.

O mapeamento dasimétrico concentra-se principalmente na interpolação de estimativas populacionais para áreas menores do que as disponíveis nos dados atualmente divulgados (consulte esta pergunta para uma série de referências úteis sobre o tópico). Freqüentemente, isso era feito simplesmente identificando áreas (com base nas características da terra) nas quais obviamente não existe população e, em seguida, re-estimando as densidades populacionais (omitindo essas áreas). Um exemplo pode ser se houver um corpo de água em uma cidade, outro pode ser se você identificar lotes de terrenos industriais que não podem ter população residencial. Abordagens mais recentes ao mapeamento dasimétrico incorporam outros dados auxiliares em uma estrutura probabilística para alocar estimativas populacionais (Kyriakidis, 2004; Liu et al., 2008; Lin et al., 2011; Zhang & Qiu, 2011).

Agora é fácil ver a relação com sua pergunta em mãos. Você quer as estimativas populacionais das pequenas áreas. Mas também deve ficar claro como isso pode ficar aquém dos seus objetivos. Você não quer apenas os dados da população, mas também as características dessas populações. Um dos termos usados ​​para descrever essa situação é a mudança do problema de suporte (Cressie, 1996; Gotway & Young, 2002). Tomando emprestado da literatura geoestatística em que se tenta fazer previsões de uma determinada característica em uma ampla área a partir de amostras pontuais, trabalhos recentes tentaram interpolar dados de áreas para diferentes zonas-alvo. Grande parte do trabalho de Pierre Goovaerts concentra-se em tais métodos de krigagem de área a ponto, um artigo recente na revista Geographic Analysis possui vários exemplos do método aplicado a diferentes materiais (Haining et al., 2010), e uma das minhas aplicações favoritas é neste artigo (Young et al., 2009).

O que cito dificilmente deve ser visto como uma panacéia para o problema. Por fim, muitos dos mesmos problemas com inferência ecológica e viés de agregação também se aplicam aos objetivos da interpolação regional. É provável que muitas das relações entre os dados de nível micro sejam simplesmente perdidas no processo de agregação e essas técnicas de interpolação não serão capazes de recuperá-las. Além disso, o processo pelo qual os dados são interpolados empiricamente (através da estimativa de variogramas a partir dos dados agregados no nível) geralmente é bastante cheio de etapas ad-hoc que devem tornar o processo questionável (Goovaerts, 2008).

Infelizmente, eu postei isso em uma resposta separada, pois a literatura de inferência ecológica e a literatura sobre mapeamento dasimétrico e krigagem área a ponto não são sobrepostas. Embora a literatura sobre inferência ecológica tenha muitas implicações para essas técnicas. Não são apenas as técnicas de interpolação sujeitas a viés de agregação, mas as técnicas dasimétricas inteligentes (que usam os dados agregados para ajustar modelos para prever áreas menores) são provavelmente suspeitas de viés de agregação. O conhecimento das situações em que ocorre o viés de agregação deve ser esclarecedor sobre as situações nas quais a interpolação de áreas e o mapeamento dasimétrico falharão amplamente (especialmente no que diz respeito à identificação de correlações entre diferentes variáveis ​​no nível desagregado).

Citações

• Cressie N. (1996). Mudança de suporte e o problema da unidade de área modificável. Sistemas Geográficos 3 : 159-180.
• Gotway CA e LJ Young (2002). Combinando dados espaciais incompatíveis. Jornal da Associação Estatística Americana 97 (458): 632-648. (PDF aqui )
• Goovaerts P. (2008). Deconvolução de Kriging e semivariograma na presença de unidades geográficas irregulares. Geociências Matemáticas 40 (1): 101-128 (PDF aqui )
• Haining, RP, R.Kerry e MA Oliver (2010). Geografia, análise de dados espaciais e geoestatística: Uma visão geral. Análise Geográfica 42 (1): 7-31.
• Kyriakidis PC (2004). Uma estrutura geoestatística para interpolação espacial de área a ponto. Análise Geográfica 36 (3): 259-289. (PDF aqui )
• Liu XH, PC Kyriakidis e MF Goodchild (2008). Estimativa da densidade populacional usando regressão e krigagem residual área a ponto. International Journal of Geographic Information Science 22 (4): 431-447.
• Lin J., R. Cromley e C. Zhang (2011). Usando regressão geograficamente ponderada para resolver o problema de interpolação de área. Anais de GIS 17 (1): 1-14.
• Young, LJ, CA Gotway, J. Yang, G. Kearney e C. DuClos (2009). Vinculando dados de saúde e ambientais na análise geográfica: é muito mais do que centróides. Epidemiologia espacial e espaço-temporal 1 (1): 73-84.
• Zhang C. & F. Qiu (2011). Uma abordagem inteligente baseada em pontos para interpolação de área. The Professional Geographer 63 (2): 262-276. (PDF aqui )

O trabalho de Gary King, em particular o livro "Uma Solução para o Problema da Inferência Ecológica" (os dois primeiros capítulos estão disponíveis aqui ), seria interessante (assim como o software que ele usa para a inferência ecológica). King mostra em seu livro como as estimativas de modelos de regressão usando dados agregados podem ser melhoradas examinando os limites potenciais de agrupamentos de nível inferior com base nos dados agregados disponíveis. O fato de seus dados serem principalmente agrupamentos categóricos os torna passíveis de utilização para essa técnica. (Embora não se deixe enganar, não é uma solução omnibus que você poderia esperar, com o título!) Existe um trabalho mais atual, mas o livro de King é o melhor lugar para começar.

Outra possibilidade seria apenas representar os limites potenciais dos próprios dados (em mapas ou gráficos). Assim, por exemplo, você pode ter a distribuição de sexo relatada no nível agregado (por exemplo, 5.000 homens e 5.000 mulheres), e você sabe que esse nível agregado abrange 2 diferentes unidades de área pequena da população 9.000 e 1.000 indivíduos. Você pode representar isso como uma tabela de contingência do formulário;

       Men     Women
Unit1   ?        ?    9000
Unit2   ?        ?    1000
       5000   5000 

Embora você não tenha as informações nas células para agregações de nível inferior, a partir dos totais marginais, podemos construir valores potenciais mínimos ou máximos para cada célula. Então, neste exemplo, oMen X Unit1 célula só pode assumir valores entre 4.000 e 5.000 (sempre que as distribuições marginais forem mais desiguais, menor o intervalo de valores possíveis que as células terão). Aparentemente, obter os limites da tabela é mais difícil do que eu esperava ( Dobra & Fienberg, 2000 ), mas parece que uma função está disponível na eiPackbiblioteca em R ( Lau et al., 2007, p. 43 ).

A análise multivariada com dados em nível agregado é difícil, pois o viés de agregação ocorre inevitavelmente com esse tipo de dados. (Em poucas palavras, eu descreveria apenas o viés de agregação, pois muitos processos diferentes de geração de dados em nível individual podem resultar em associações em nível agregado). Uma série de artigos na American Sociological Reviewna década de 1970, são algumas das minhas referências favoritas para os tópicos (Firebaugh, 1978; Hammond, 1973; Hannan & Burstein, 1974), embora fontes canônicas sobre o tópico possam ser (Fotheringham & Wong, 1991; Oppenshaw, 1984; Robinson, 1950) . Eu acho que representar os limites potenciais que os dados podem assumir poderia ser incitante, embora você esteja realmente prejudicado pelas limitações dos dados agregados para realizar análises multivariadas. Mas isso não impede ninguém de fazer isso nas ciências sociais (para melhor ou para pior!)

Observe (como Charlie disse nos comentários) que a "solução" de King recebeu uma quantidade considerável de críticas (Anselin & Cho, 2002; Freedman et al., 1998). Embora essas críticas não sejam de opinião sobre a matemática do método de King, mais ainda sobre quais situações nas quais o método de King ainda não responde pelo viés de agregação (e eu concordo com Freedman e Anselin nas situações em que os dados para as ciências sociais ainda são suspeitas são muito mais comuns do que aquelas que atendem às suposições de King). Esta é em parte a razão pela qual sugiro apenas examinar os limites (não há nada de errado nisso), mas fazer inferências sobre correlações em nível individual a partir desses dados exige muito mais saltos de fé que são injustificáveis ​​na maioria das situações.

Citações

• Anselin, L. & WKT Cho (2002). Efeitos espaciais e inferência ecológica. Análise Política 10 (3): 276-297.
• Dobra A. e SE Fienberg (2000). Limites para entradas de células em tabelas de contingência, considerando totais marginais e gráficos decomponíveis. Anais da Academia Nacional de Ciências 97 (22): 11885-11892
• Firebaugh, G. (1978). Uma regra para inferir relacionamentos individuais a partir de dados agregados. American Sociological Review 43 (4): 557-572
• Fotheringham, AS e DW Wong (1991). O problema da unidade de área modificável na análise estatística multivariada. Meio ambiente e planejamento A 23 (7): 1025-1044
• Freedman, DA, SP Klein, M. Ostland e MR Roberts (1998). Trabalhos revisados: uma solução para o problema de inferência ecológica de G. King. Jornal da Associação Estatística Americana 93 (444): 1518-1522. (PDF aqui )
• Hammond, JL (1973) Duas fontes de erro nas correlações ecológicas. Revista Sociológica Americana 38 (6): 764-777
• Hannan, MT e L. Burstein (1974). Estimativa a partir de observações agrupadas. Revista Sociológica Americana 39 (3): 374-392
• King G. (1997). Uma solução para o problema de inferência ecológica: reconstruindo o comportamento individual a partir de dados agregados . Princeton: Princeton University Press.
• Lau O., RT Moore e M. Kellerman (2007). eiPack: Inferência ecológica RXC e gerenciamento de dados de maior dimensão. R News 7 (2): 43-47
• Oppenshaw, S. (1984). O problema da unidade regional modificável . Norwich: Geo Books. ( PDF aqui )
• Robinson, WS (1950). Correlações ecológicas e comportamento de indivíduos. American Sociological Review 15 (3): 351-357. ( PDF aqui )

Não tenho certeza de que exista uma resposta bem definida na literatura para isso, uma vez que a pesquisa no Google fornece basicamente três referências úteis na estimativa multivariada de pequenas áreas. Pfeffermann (2002) discute variáveis ​​de resposta discretas na seção 4 do artigo, mas esses serão modelos univariados. Obviamente, com métodos bayesianos hierárquicos ( Rao 2003, cap. 10 ), você pode fazer qualquer tipo de maravilha, mas se, no final, você se encontrar apenas replicando seus anteriores (porque você tem poucos dados), isso seria terrível. resultado do seu exercício de simulação. Além disso, Rao trata apenas variáveis ​​contínuas.

Eu acho que o maior desafio será a decomposição da matriz de covariância nos componentes entre e dentro da área pequena. Com uma amostra de 1%, você terá apenas três observações do seu SAE; portanto, pode ser difícil obter uma estimativa estável do componente interno.

Se eu estivesse no seu lugar, tentaria uma extensão multivariada do modelo de Pfeffermann com um efeito aleatório multivariado da pequena área. Você pode realmente acabar com um modelo bayesiano hierárquico para isso, se nada funcionar com base no design.

UPDATE (para abordar o comentário de Andy sobre esta resposta): os métodos de inicialização para estimativa de pequenas áreas ( Lahiri 2003 ) recriam especificamente uma população plausível do estudo. Embora o foco do exercício de autoinicialização seja estimar as variações das estimativas de área pequena, os procedimentos devem ser de interesse e relevância para o problema publicado.