Existe uma maneira de usar o PhantomJS em Python?

Eu quero usar o PhantomJS em Python . Pesquisei esse problema no Google, mas não consegui encontrar soluções adequadas.

Acho que os.popen() pode ser uma boa escolha. Mas não pude passar alguns argumentos para isso.

Usar subprocess.Popen()pode ser uma solução adequada por enquanto. Quero saber se há uma solução melhor ou não.

Existe uma maneira de usar o PhantomJS em Python?

A maneira mais fácil de usar o PhantomJS em python é via Selenium. O método mais simples de instalação é

1. Instalar o NodeJS
2. Usando o gerenciador de pacotes do Node, instale phantomjs: npm -g install phantomjs-prebuilt
3. instale o selenium (no seu virtualenv, se você estiver usando isso)

Após a instalação, você pode usar o phantom tão simples quanto:

from selenium import webdriver

driver = webdriver.PhantomJS() # or add to your PATH
driver.set_window_size(1024, 768) # optional
driver.get('https://google.com/')
driver.save_screenshot('screen.png') # save a screenshot to disk
sbtn = driver.find_element_by_css_selector('button.gbqfba')
sbtn.click()

Se a variável de ambiente do caminho do sistema não estiver configurada corretamente, você precisará especificar o caminho exato como argumento para webdriver.PhantomJS(). Substitua isto:

driver = webdriver.PhantomJS() # or add to your PATH

... com o seguinte:

driver = webdriver.PhantomJS(executable_path='/usr/local/lib/node_modules/phantomjs/lib/phantom/bin/phantomjs')

Referências:

• http://selenium-python.readthedocs.io/
• Como definir um proxy para phantomjs / ghostdriver no python webdriver?
• https://dzone.com/articles/python-testing-phantomjs

O PhantomJS recentemente abandonou completamente o suporte ao Python . No entanto, o PhantomJS agora incorpora o Ghost Driver .

Um novo projeto, desde então, subiu para preencher o vazio: ghost.py. Você provavelmente deseja usar isso:

from ghost import Ghost
ghost = Ghost()

with ghost.start() as session:
    page, extra_resources = ghost.open("http://jeanphi.me")
    assert page.http_status==200 and 'jeanphix' in ghost.content

Agora, desde que o GhostDriver vem junto com o PhantomJS, tornou-se ainda mais conveniente usá-lo através do Selenium.

Tentei a instalação de Node do PhantomJS, conforme sugerido por Pykler, mas na prática achei mais lento que a instalação independente do PhantomJS. Acho que a instalação autônoma não forneceu esses recursos anteriormente, mas a partir da v1.9, ela o faz muito.

1. Instale o PhantomJS ( http://phantomjs.org/download.html ) (se você estiver no Linux, as instruções a seguir ajudarão https://stackoverflow.com/a/14267295/382630 )
2. Instale o Selenium usando o pip.

Agora você pode usar assim

import selenium.webdriver
driver = selenium.webdriver.PhantomJS()
driver.get('http://google.com')
# do some processing

driver.quit()

Aqui está como eu testo javascript usando PhantomJS e Django:

mobile / test_no_js_errors.js :

var page = require('webpage').create(),
    system = require('system'),
    url = system.args[1],
    status_code;

page.onError = function (msg, trace) {
    console.log(msg);
    trace.forEach(function(item) {
        console.log('  ', item.file, ':', item.line);
    });
};

page.onResourceReceived = function(resource) {
    if (resource.url == url) {
        status_code = resource.status;
    }
};

page.open(url, function (status) {
    if (status == "fail" || status_code != 200) {
        console.log("Error: " + status_code + " for url: " + url);
        phantom.exit(1);
    }
    phantom.exit(0);
});

mobile / tests.py :

import subprocess
from django.test import LiveServerTestCase

class MobileTest(LiveServerTestCase):
    def test_mobile_js(self):
        args = ["phantomjs", "mobile/test_no_js_errors.js", self.live_server_url]
        result = subprocess.check_output(args)
        self.assertEqual(result, "")  # No result means no error

Execute testes :

manage.py test mobile

A resposta de @Pykler é ótima, mas o requisito do Nó está desatualizado. Os comentários nessa resposta sugerem a resposta mais simples, que eu coloquei aqui para economizar tempo de outras pessoas:

1. Instale o PhantomJS

   Como @ Vivin-Paliath aponta, é um projeto independente, não faz parte do Node.

   Mac:

   brew install phantomjs

   Ubuntu:

   sudo apt-get install phantomjs

   etc

2. Configure um virtualenv(se você ainda não tiver):

   virtualenv mypy  # doesn't have to be "mypy". Can be anything.
   . mypy/bin/activate

   Se sua máquina possui o Python 2 e o 3, você pode precisar executar virtualenv-3.6 mypyou algo semelhante.

3. Instale o selênio:

   pip install selenium

4. Experimente um teste simples, como este emprestado dos documentos :

   from selenium import webdriver
   from selenium.webdriver.common.keys import Keys
   
   driver = webdriver.PhantomJS()
   driver.get("http://www.python.org")
   assert "Python" in driver.title
   elem = driver.find_element_by_name("q")
   elem.clear()
   elem.send_keys("pycon")
   elem.send_keys(Keys.RETURN)
   assert "No results found." not in driver.page_source
   driver.close()

é isso que eu faço, python3.3. Eu estava processando enormes listas de sites, portanto, a falha no tempo limite era vital para que o trabalho fosse executado em toda a lista.

command = "phantomjs --ignore-ssl-errors=true "+<your js file for phantom>
process = subprocess.Popen(command, shell=True, stdout=subprocess.PIPE)

# make sure phantomjs has time to download/process the page
# but if we get nothing after 30 sec, just move on
try:
    output, errors = process.communicate(timeout=30)
except Exception as e:
    print("\t\tException: %s" % e)
    process.kill()

# output will be weird, decode to utf-8 to save heartache
phantom_output = ''
for out_line in output.splitlines():
    phantom_output += out_line.decode('utf-8')

Se estiver usando o Anaconda, instale com:

conda install PhantomJS

no seu script:

from selenium import webdriver
driver=webdriver.PhantomJS()

funciona perfeitamente.

Caso esteja usando o Buildout , você pode automatizar facilmente os processos de instalação descritos pelo Pykler usando a receita gp.recipe.node .

[nodejs]
recipe = gp.recipe.node
version = 0.10.32
npms = phantomjs
scripts = phantomjs

Essa parte instala o node.js como binário (pelo menos no meu sistema) e depois usa o npm para instalar o PhantomJS. Finalmente, ele cria um ponto de entrada bin/phantomjs, com o qual você pode chamar o driver da web PhantomJS. (Para instalar o Selenium, você precisa especificá-lo nos requisitos do seu ovo ou na configuração do Buildout.)

driver = webdriver.PhantomJS('bin/phantomjs')