Estou tentando encontrar o equivalente do Java ao Groovy's:

String content = "http://www.google.com".toURL().getText();

Eu quero ler o conteúdo de um URL em string. Não quero poluir meu código com fluxos e loops em buffer para uma tarefa tão simples. Eu olhei no HttpClient do apache, mas também não vejo uma implementação de uma ou duas linhas.

Agora que já passou algum tempo desde que a resposta original foi aceita, há uma abordagem melhor:

String out = new Scanner(new URL("http://www.google.com").openStream(), "UTF-8").useDelimiter("\\A").next();

Se você deseja uma implementação um pouco mais completa, que não seja uma única linha, faça o seguinte:

public static String readStringFromURL(String requestURL) throws IOException
{
    try (Scanner scanner = new Scanner(new URL(requestURL).openStream(),
            StandardCharsets.UTF_8.toString()))
    {
        scanner.useDelimiter("\\A");
        return scanner.hasNext() ? scanner.next() : "";
    }
}

Esta resposta refere-se a uma versão mais antiga do Java. Você pode querer dar uma olhada na resposta de ccleve.

Aqui está a maneira tradicional de fazer isso:

import java.net.*;
import java.io.*;

public class URLConnectionReader {
    public static String getText(String url) throws Exception {
        URL website = new URL(url);
        URLConnection connection = website.openConnection();
        BufferedReader in = new BufferedReader(
                                new InputStreamReader(
                                    connection.getInputStream()));

        StringBuilder response = new StringBuilder();
        String inputLine;

        while ((inputLine = in.readLine()) != null) 
            response.append(inputLine);

        in.close();

        return response.toString();
    }

    public static void main(String[] args) throws Exception {
        String content = URLConnectionReader.getText(args[0]);
        System.out.println(content);
    }
}

Como o @extraneon sugeriu, o ioutils permite que você faça isso de uma maneira muito eloquente que ainda está no espírito do Java:

 InputStream in = new URL( "http://jakarta.apache.org" ).openStream();

 try {
   System.out.println( IOUtils.toString( in ) );
 } finally {
   IOUtils.closeQuietly(in);
 }

Ou apenas use o Apache Commons IOUtils.toString(URL url), ou a variante que também aceita um parâmetro de codificação.

Agora que mais tempo se passou, eis uma maneira de fazê-lo no Java 8:

URLConnection conn = url.openConnection();
try (BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream(), StandardCharsets.UTF_8))) {
    pageText = reader.lines().collect(Collectors.joining("\n"));
}

Existe uma maneira ainda melhor a partir do Java 9:

URL u = new URL("http://www.example.com/");
try (InputStream in = u.openStream()) {
    return new String(in.readAllBytes(), StandardCharsets.UTF_8);
}

Como o exemplo original do groovy, isso pressupõe que o conteúdo seja codificado em UTF-8. (Se você precisar de algo mais inteligente do que isso, crie uma URLConnection e use-a para descobrir a codificação.)

Exemplo adicional usando o Guava:

URL xmlData = ...
String data = Resources.toString(xmlData, Charsets.UTF_8);

Se você tiver o fluxo de entrada (consulte a resposta de Joe), considere ioutils.toString (fluxo de entrada).

http://commons.apache.org/io/api-1.4/org/apache/commons/io/IOUtils.html#toString(java.io.InputStream )

O seguinte funciona com Java 7/8, URLs seguros e mostra como adicionar um cookie à sua solicitação também. Observe que essa é principalmente uma cópia direta dessa outra ótima resposta nesta página , mas adicionou o exemplo de cookie e esclarecimentos, pois ela também funciona com URLs seguros ;-)

Se você precisar se conectar a um servidor com um certificado inválido ou certificado autoassinado, isso gerará erros de segurança, a menos que você importe o certificado. Se você precisar dessa funcionalidade, considere a abordagem detalhada nesta resposta a esta pergunta relacionada no StackOverflow.

Exemplo

String result = getUrlAsString("https://www.google.com");
System.out.println(result);

saídas

<!doctype html><html itemscope="" .... etc

Código

import java.net.URL;
import java.net.URLConnection;
import java.io.BufferedReader;
import java.io.InputStreamReader;

public static String getUrlAsString(String url)
{
    try
    {
        URL urlObj = new URL(url);
        URLConnection con = urlObj.openConnection();

        con.setDoOutput(true); // we want the response 
        con.setRequestProperty("Cookie", "myCookie=test123");
        con.connect();

        BufferedReader in = new BufferedReader(new InputStreamReader(con.getInputStream()));

        StringBuilder response = new StringBuilder();
        String inputLine;

        String newLine = System.getProperty("line.separator");
        while ((inputLine = in.readLine()) != null)
        {
            response.append(inputLine + newLine);
        }

        in.close();

        return response.toString();
    }
    catch (Exception e)
    {
        throw new RuntimeException(e);
    }
}

Aqui está a resposta adorável de Jeanne, mas envolvida em uma função organizada para os muppets como eu:

private static String getUrl(String aUrl) throws MalformedURLException, IOException
{
    String urlData = "";
    URL urlObj = new URL(aUrl);
    URLConnection conn = urlObj.openConnection();
    try (BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream(), StandardCharsets.UTF_8))) 
    {
        urlData = reader.lines().collect(Collectors.joining("\n"));
    }
    return urlData;
}

URL para String em Java puro

Chamada de exemplo

 String str = getStringFromUrl("YourUrl");

Implementação

Você pode usar o método descrito nesta resposta, em Como ler URL em um InputStream e combiná-lo com esta resposta em Como ler InputStream em String .

O resultado será algo como

public String getStringFromUrl(URL url) throws IOException {
        return inputStreamToString(urlToInputStream(url,null));
}

public String inputStreamToString(InputStream inputStream) throws IOException {
    try(ByteArrayOutputStream result = new ByteArrayOutputStream()) {
        byte[] buffer = new byte[1024];
        int length;
        while ((length = inputStream.read(buffer)) != -1) {
            result.write(buffer, 0, length);
        }

        return result.toString(UTF_8);
    }
}

private InputStream urlToInputStream(URL url, Map<String, String> args) {
    HttpURLConnection con = null;
    InputStream inputStream = null;
    try {
        con = (HttpURLConnection) url.openConnection();
        con.setConnectTimeout(15000);
        con.setReadTimeout(15000);
        if (args != null) {
            for (Entry<String, String> e : args.entrySet()) {
                con.setRequestProperty(e.getKey(), e.getValue());
            }
        }
        con.connect();
        int responseCode = con.getResponseCode();
        /* By default the connection will follow redirects. The following
         * block is only entered if the implementation of HttpURLConnection
         * does not perform the redirect. The exact behavior depends to 
         * the actual implementation (e.g. sun.net).
         * !!! Attention: This block allows the connection to 
         * switch protocols (e.g. HTTP to HTTPS), which is <b>not</b> 
         * default behavior. See: /programming/1884230 
         * for more info!!!
         */
        if (responseCode < 400 && responseCode > 299) {
            String redirectUrl = con.getHeaderField("Location");
            try {
                URL newUrl = new URL(redirectUrl);
                return urlToInputStream(newUrl, args);
            } catch (MalformedURLException e) {
                URL newUrl = new URL(url.getProtocol() + "://" + url.getHost() + redirectUrl);
                return urlToInputStream(newUrl, args);
            }
        }
        /*!!!!!*/

        inputStream = con.getInputStream();
        return inputStream;
    } catch (Exception e) {
        throw new RuntimeException(e);
    }
}

Prós

• É java puro

• Ele pode ser facilmente aprimorado adicionando cabeçalhos diferentes (em vez de passar um objeto nulo, como no exemplo acima), autenticação etc.

• O manuseio de switches de protocolo é suportado