Por que eu usaria o Wget em vez de um navegador? [fechadas]

Em que caso devo preferir usar o Wget em vez de um navegador?

Ouvi dizer que Richard Stallman o usa em vez de um navegador por alguns motivos de anonimato. E o que o servidor vê quando você obtém seus arquivos usando o Wget?

Normalmente você nunca o usaria "em vez de um navegador". Os navegadores renderizam HTML, tornam os links clicáveis ​​(em vez de copiar o URL manualmente em outro comando wget), etc. Não há literalmente nenhuma vantagem em usar o wget como humano. Se você está preocupado com a privacidade, há um milhão de maneiras de limpar um navegador (ou você pode usar um navegador com menos recursos, como o Lynx, se realmente deseja obter barebones sem destruir toda a aparência da interface do usuário humana).

O Wget é usado principalmente quando você deseja uma maneira rápida, barata e com script / linha de comando de baixar arquivos. Portanto, por exemplo, você pode colocar o wget em um script para baixar uma página da Web que é atualizada com novos dados com frequência, o que é algo para o qual um navegador não pode realmente ser usado. Você pode usar as várias opções do wget para rastrear e salvar automaticamente um site, o que a maioria dos navegadores não pode, pelo menos não sem extensões.

Em suma, navegadores são aplicativos para humanos que procuram na internet, o wget é uma ferramenta para máquinas e usuários avançados que movem dados sobre HTTP. Muito parecido com o que eles fazem (extrair arquivos de sites), mas totalmente diferentes em seu uso.

Com relação ao que os servidores "veem" quando obtém coisas com o wget: todos os clientes HTTP (navegadores, wget, curl e outros aplicativos similares) transmitem o que é chamado de "User Agent", que é apenas uma string que descreve o navegador (ou atualmente, descreve quais recursos do navegador ele possui). Isso pode ser usado para mostrar conteúdo diferente, dependendo do navegador do usuário (por exemplo, o Google tenta não anunciar o Chrome para pessoas que já usam o Chrome). Alguns tolos tentam bloquear travessuras de usuários avançados, bloqueando a cadeia de agentes do wget, mas você pode simplesmente falsificar uma cadeia de agentes do Chrome para contornar isso. Com mais frequência, é simplesmente usado para estatísticas, para que você saiba o quão populares são os diferentes navegadores, para saber com quais deles testar mais detalhadamente.

Se você usar as funções de rastreamento do wget, o servidor verá muitas solicitações rápidas em ordem alfabética. É uma oferta inoperante que você está raspando o site deles. Parece totalmente diferente da navegação de um usuário. Com um usuário humano fazendo solicitações em um navegador, todas as solicitações de página são seguidas por todas as imagens nessa página, e há algum atraso, além de uma solicitação para outra página aleatória (ou possivelmente uma sequência de páginas com uma finalidade clara) .

Como outros já mencionaram, wgettem o benefício de não ser incluído em complementos, cookies e cache, o que o torna potencialmente mais estável e seguro. Mas os navegadores e wgetrealmente têm usos normais muito diferentes .

wgeté um utilitário de linha de comando destinado a recuperar conteúdo, não a apresentá-lo. Ele pode ser usado para recuperar e baixar qualquer coisa através de FTP, HTTP e HTTPS, incluindo qualquer tipo de arquivo (HTML, imagens, binários etc.).

Para o servidor, a única diferença que ele verá é diferente, a user agentmenos que você use seu --user-agentargumento para especificar um navegador. Se o fizer, o servidor não verá nenhuma diferença.

1) downloads iniciados por um script em vez de um ser humano

2) baixar sites inteiros (ou fragmentos de sites) em vez de páginas separadas. (O Wget pode seguir automaticamente os links.)

O Wget tem algumas opções de linha de comando para controlar o que o servidor vê e pode pensar, incluindo atrasos arbitrários entre solicitações para fazer download de páginas. Mas se o servidor do site tiver alguma política anti-bot, você geralmente desperdiçará uma grande quantidade de tempo e tráfego antes de obter um resultado aceitável.

Ao usar um navegador, qualquer coisa dentro dele está ativa, incluindo complementos indesejáveis ​​e até malware, enquanto o wget é um comando simples que baixa coisas e não faz absolutamente nada mais.

O navegador não é necessariamente menos seguro, mas potencialmente.

Os servidores "veem" uma solicitação de download, como de costume.

O navegador pode gravar suas atividades nos arquivos de histórico e cache.

O wget não possui retenção de memória.

Dito isto, um navegador é mais conveniente e eu não me importo se a NSA descobrir que eu baixei 4.7.2-040702-genericna semana passada. Eu uso meu navegador para serviços bancários on-line e paypal, o que é sem dúvida mais crucial do que a maioria dos arquivos que posso baixar com o wget.

Como desenvolvedor que usa instalações remotas do Ubuntu, geralmente há muito pouco sentido em instalar a GUI do SO. Nesse ambiente de 'linha de comando', o wget é uma ferramenta essencial para baixar arquivos da web.

Não sei ao certo quais navegadores, se houver, podem ser executados no terminal.