Um dos principais valores do Facebook é avançar rapidamente. Nos últimos seis anos, conseguimos realizar muito graças ao rápido ritmo de desenvolvimento que o PHP oferece. Como linguagem de programação, o PHP é simples. Simples de aprender, simples de escrever, simples de ler e simples de depurar. Podemos obter novos engenheiros no Facebook muito mais rapidamente com PHP do que com outras linguagens, o que nos permite inovar mais rapidamente.
Hoje, estou empolgado em compartilhar o projeto com uma pequena equipe de pessoas incríveis e tenho trabalhado nos últimos dois anos; HipHop para PHP. Com o HipHop, reduzimos o uso da CPU em nossos servidores da Web em média em cerca de cinquenta por cento, dependendo da página. Menos CPU significa menos servidores, o que significa menos sobrecarga. Este projeto teve um tremendo impacto no Facebook. Consideramos que a Web em geral pode se beneficiar do HipHop, por isso estamos lançando-a como código aberto esta noite, na esperança de que traga um novo foco para o dimensionamento de grandes sites complexos com PHP. Embora o HipHop tenha nos mostrado resultados incríveis, ele certamente não está completo e você deve se sentir confortável com o software beta antes de testá-lo.
O HipHop para PHP não é tecnicamente um compilador. Pelo contrário, é um transformador de código-fonte. O HipHop programaticamente transforma seu código-fonte PHP em C ++ altamente otimizado e, em seguida, usa g ++ para compilá-lo. O HipHop executa o código-fonte de maneira semanticamente equivalente e sacrifica alguns recursos raramente usados - como eval () - em troca de um desempenho aprimorado. O HipHop inclui um transformador de código, uma reimplementação do sistema de tempo de execução do PHP e uma reescrita de muitas extensões PHP comuns para aproveitar essas otimizações de desempenho.
Escalando o PHP como uma linguagem de script
As raízes do PHP são as de uma linguagem de script, como Perl, Python e Ruby, todas com grandes benefícios em termos de produtividade do programador e capacidade de iterar rapidamente nos produtos. Isso é comparado a linguagens compiladas mais tradicionais como C ++ e linguagens interpretadas como Java. Por outro lado, as linguagens de script geralmente são menos eficientes no que diz respeito ao uso da CPU e da memória. Por causa disso, tem sido difícil escalar o Facebook para mais de 400 bilhões de visualizações de página baseadas em PHP todos os meses.
Uma maneira comum de resolver essas ineficiências é reescrever as partes mais complexas do seu aplicativo PHP diretamente no C ++ como extensões do PHP. Isso transforma amplamente o PHP em uma linguagem de cola entre o HTML do front-end e a lógica do aplicativo em C ++. Do ponto de vista técnico, isso funciona bem, mas reduz drasticamente o número de engenheiros que podem trabalhar em todo o aplicativo. Aprender C ++ é apenas o primeiro passo para escrever extensões PHP, o segundo é entender as APIs do Zend. Dado que nossa equipe de engenharia é relativamente pequena - existem mais de um milhão de usuários para cada engenheiro - não podemos permitir que partes de nossa base de código sejam menos acessíveis que outras.
Escalar o Facebook é particularmente desafiador, porque quase todas as visualizações de páginas são um usuário logado com uma experiência personalizada. Quando você visualiza sua página inicial, precisamos procurar todos os seus amigos, consultar as atualizações mais relevantes (de um serviço personalizado que criamos chamado Multifeed), filtrar os resultados com base em suas configurações de privacidade e preencher as histórias com comentários , fotos, curtidas e todos os dados valiosos que as pessoas adoram no Facebook. Tudo isso em menos de um segundo. O HipHop nos permite escrever a lógica que realiza a montagem da página final em PHP e iterá-la rapidamente, contando com serviços de back-end personalizados em C ++, Erlang, Java ou Python para atender ao Feed de Notícias, pesquisa, Chat e outras partes principais do site.
Desde 2007, pensamos em algumas maneiras diferentes de resolver esses problemas e até tentamos implementar algumas delas. A sugestão comum é reescrever o Facebook em outro idioma, mas, dada a complexidade e a velocidade de desenvolvimento do site, isso levaria algum tempo para ser realizado. Reescrevemos aspectos do Zend Engine - internos do PHP - e contribuímos com esses patches de volta ao projeto PHP, mas, no final das contas, não vimos o tipo de aumento de desempenho necessário. Os benefícios do HipHop são quase transparentes à nossa velocidade de desenvolvimento.
Hacking Up HipHop
Uma noite em um Hackathon há alguns anos (veja Prime Time Hack), iniciei meu primeiro pedaço de código transformando PHP em C ++. As linguagens são bastante sintáticas e o C ++ supera drasticamente o PHP no que diz respeito ao uso da CPU e da memória. Até o próprio PHP é escrito em C. Sabíamos que era impossível reescrever com êxito uma base de código inteira desse tamanho manualmente, mas imaginávamos o que aconteceria se construíssemos um sistema para fazê-lo programaticamente.
Encontrar novas maneiras de melhorar o desempenho do PHP não é um conceito novo. No tempo de execução, o Zend Engine transforma sua fonte PHP em códigos de operação, que são executados na Zend Virtual Machine. Projetos de código aberto, como APC e eAccelerator, armazenam em cache essa saída e são usados pela maioria dos sites com PHP. Há também o Zend Server, um produto comercial que torna o PHP mais rápido via otimização e cache de opcode. Em vez disso, estávamos pensando em transformar a fonte PHP diretamente em C ++, que pode ser transformada em código de máquina nativo. Mesmo compilar o PHP não é uma idéia nova, projetos de código aberto como Roadsend e phc compilam PHP para C, Quercus compila PHP para Java e Phalanger compila PHP para .Net.
Escusado será dizer que levou mais tempo do que aquele único Hackathon. Oito meses depois, eu tinha código suficiente para demonstrar que é realmente possível executar mais rapidamente com o código compilado. Adicionamos rapidamente Iain Proctor e Minghui Yang à equipe para acelerar o ritmo do projeto. Passamos os próximos dez meses finalizando toda a codificação e os seis meses seguintes testando em servidores de produção. Temos orgulho em dizer que, neste momento, estamos atendendo a mais de 90% de nosso tráfego na Web usando o HipHop, todos apenas seis meses após a implantação.
Como funciona o HipHop
O principal desafio do projeto foi preencher a lacuna entre PHP e C ++. PHP é uma linguagem de script com digitação dinâmica e fraca. C ++ é uma linguagem compilada com digitação estática. Enquanto o PHP permite que você escreva recursos dinâmicos mágicos, a maioria do PHP é relativamente direta. É mais provável que você veja if (...) {...} else {..}do que vê
function foo($x) { include $x; }. É aqui que ganhamos em desempenho. Sempre que possível, nosso código gerado usa ligação estática para funções e variáveis. Também usamos inferência de tipo para escolher o tipo mais específico possível para nossas variáveis e, assim, economizar memória.
O processo de transformação inclui três etapas principais:
- Análise estática onde coletamos informações sobre quem declara o quê e dependências,
- Inferência de tipo onde escolhemos o tipo mais específico entre escalares C ++, String, Matriz, classes, Object e Variant e
- Geração de código que, na maior parte, é uma correspondência direta de instruções e expressões PHP para instruções e expressões C ++.
Também desenvolvemos o HPHPi, um intérprete experimental projetado para desenvolvimento. Ao usar o HPHPi, você não precisa compilar seu código-fonte PHP antes de executá-lo. Isso nos ajudou a detectar bugs no próprio HipHop e fornece aos engenheiros uma maneira de usar o HipHop sem alterar a forma como eles escrevem PHP.
No geral, o HipHop nos permite manter os melhores aspectos do PHP e aproveitar os benefícios de desempenho do C ++. No total, escrevemos mais de 300.000 linhas de código e mais de 5.000 testes de unidade.