Baixando um arquivo grande usando curl


86

Preciso baixar o arquivo remoto usando curl.

Aqui está o código de amostra que tenho:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

$st = curl_exec($ch);
$fd = fopen($tmp_name, 'w');
fwrite($fd, $st);
fclose($fd);

curl_close($ch);

Mas ele não pode lidar com arquivos grandes, porque ele lê primeiro para a memória.

É possível transmitir o arquivo diretamente para o disco?

Respostas:


167
<?php
set_time_limit(0);
//This is the file where we save the    information
$fp = fopen (dirname(__FILE__) . '/localfile.tmp', 'w+');
//Here is the file we are downloading, replace spaces with %20
$ch = curl_init(str_replace(" ","%20",$url));
curl_setopt($ch, CURLOPT_TIMEOUT, 50);
// write curl response to file
curl_setopt($ch, CURLOPT_FILE, $fp); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
// get curl response
curl_exec($ch); 
curl_close($ch);
fclose($fp);
?>

5
Defenda seu comentário @ yes123, estou interessado em saber.
Jürgen Paul

8
Corrija-me se estiver errado, mas não acho que você realmente precise manualmente fwriteos dados, já que está usando CURLOPT_FILE.
Sasha Chedygov

1
Como @SashaChedygov apontou acima, você não precisa usar fwriteAND CURLOPT_FILE. Passar $fpé o suficiente. Fiz as duas coisas e acabei com 1o conteúdo final do arquivo.
clipe de papel de

@Sasha Chedygov ~ sim, você não precisa dofwrite
Alireza

5
Parece que definir CURLOPT_FILE antes de definir CURLOPT_RETURNTRANSFER não funciona, provavelmente porque CURLOPT_FILE depende de CURLOPT_RETURNTRANSFER ser definido. php.net/manual/en/function.curl-setopt.php#99082
Nabi KAZ

25

Eu uso esta função útil:

Baixá-lo com um passo de 4094 bytes não irá preencher sua memória

function download($file_source, $file_target) {
    $rh = fopen($file_source, 'rb');
    $wh = fopen($file_target, 'w+b');
    if (!$rh || !$wh) {
        return false;
    }

    while (!feof($rh)) {
        if (fwrite($wh, fread($rh, 4096)) === FALSE) {
            return false;
        }
        echo ' ';
        flush();
    }

    fclose($rh);
    fclose($wh);

    return true;
}

Uso:

     $result = download('http://url','path/local/file');

Você pode então verificar se está tudo bem com:

     if (!$result)
         throw new Exception('Download error...');

1
@Severus você pega um erro de http como fopen()retorno falso e o tempo limite você coloca no loop while (ligue time()e faça as contas)
Silviu-Marian

2
cURL já tem uma implementação funcional disso (veja a resposta aceita), por que você deseja implementar algo por conta própria?
Petr Peller

2
Porque a interface de procedimento cURL é muito ruim
dinâmica

pelo que vale a pena, tenho usado em stream_copy_to_streamvez de copiar manualmente o conteúdo, cria um código mais curto. Nem isso nem aquilo funciona com https(a menos que você estipule um $context). Combinando o estilo procedural - as funções de arquivo não são muito OOP também, e se você colocar opções curl em um array, parecerá muito mais limpo de qualquer maneira.
ashein

Testei com um https, funciona muito bem !!!, Obrigado pela ajuda @dynamic.
Ozal Zarbaliyev

6

Encontre o código abaixo se você deseja baixar o conteúdo da URL especificada e também deseja salvá-lo em um arquivo.

<?php
$ch = curl_init();
/**
* Set the URL of the page or file to download.
*/
curl_setopt($ch, CURLOPT_URL,'http://news.google.com/news?hl=en&topic=t&output=rss');

$fp = fopen('rss.xml', 'w+');
/**
* Ask cURL to write the contents to a file
*/
curl_setopt($ch, CURLOPT_FILE, $fp);

curl_exec ($ch);

curl_close ($ch);
fclose($fp);
?>

Se você deseja baixar o arquivo do servidor FTP, você pode usar a extensão FTP php. Encontre o código abaixo:

<?php
$SERVER_ADDRESS="";
$SERVER_USERNAME="";
$SERVER_PASSWORD="";
$conn_id = ftp_connect($SERVER_ADDRESS);

// login with username and password
$login_result = ftp_login($conn_id, $SERVER_USERNAME, $SERVER_PASSWORD);

$server_file="test.pdf" //FTP server file path 
$local_file = "new.pdf"; //Local server file path 

##----- DOWNLOAD $SERVER_FILE AND SAVE TO $LOCAL_FILE--------##
if (ftp_get($conn_id, $local_file, $server_file, FTP_BINARY)) {
    echo "Successfully written to $local_file\n";
} else {
    echo "There was a problem\n";
}

ftp_close($conn_id);
?>

4

quando curlé usado para baixar um arquivo grande, CURLOPT_TIMEOUTé a principal opção para a qual você deve definir.

CURLOPT_RETURNTRANSFER tem que ser verdadeiro no caso de você estar recebendo arquivos como pdf / csv / imagem etc.

Você pode encontrar mais detalhes aqui (url correto) Curl Doc

A partir dessa página:

curl_setopt($request, CURLOPT_TIMEOUT, 300); //set timeout to 5 mins

curl_setopt($request, CURLOPT_RETURNTRANSFER, true); // true to get the output as string otherwise false

Você também pode seguir o exemplo do blog sobre download de arquivo com curl entendendo o básico do curl
prashant pandey

2

Você pode usar esta função, que cria um arquivo temporário no sistema de arquivos e retorna o caminho para o arquivo baixado se tudo funcionar bem:

function getFileContents($url)
{
    // Workaround: Save temp file
    $img = tempnam(sys_get_temp_dir(), 'pdf-');
    $img .= '.' . pathinfo($url, PATHINFO_EXTENSION);

    $fp = fopen($img, 'w+');

    $ch = curl_init();
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);

    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_FILE, $fp);
    curl_setopt($ch, CURLOPT_HEADER, false);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

    $result = curl_exec($ch);
    curl_close($ch);

    fclose($fp);

    return $result ? $img : false;
}
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.