Configurando a Codificação de Caracteres Java Padrão

Como configuro corretamente a codificação de caracteres padrão usada pela JVM (1.5.x) programaticamente?

Eu li que -Dfile.encoding=whatevercostumava ser o caminho a seguir para JVMs mais antigas. Não tenho esse luxo por razões que não me envolvem.

Eu tentei:

System.setProperty("file.encoding", "UTF-8");

E a propriedade é configurada, mas parece não fazer com que a getByteschamada final abaixo use UTF8:

System.setProperty("file.encoding", "UTF-8");

byte inbytes[] = new byte[1024];

FileInputStream fis = new FileInputStream("response.txt");
fis.read(inbytes);
FileOutputStream fos = new FileOutputStream("response-2.txt");
String in = new String(inbytes, "UTF8");
fos.write(in.getBytes());

Infelizmente, a file.encodingpropriedade precisa ser especificada quando a JVM é inicializada; no momento em que o método principal é inserido, a codificação de caracteres usada pelos String.getBytes()construtores padrão InputStreamReadere OutputStreamWriterfoi permanentemente armazenada em cache.

Como Edward Grech aponta, em um caso especial como este, a variável de ambiente JAVA_TOOL_OPTIONS pode ser usada para especificar essa propriedade, mas normalmente é assim:

java -Dfile.encoding=UTF-8 … com.x.Main

Charset.defaultCharset()refletirá as alterações na file.encodingpropriedade, mas a maioria do código nas bibliotecas Java principais que precisam determinar a codificação de caracteres padrão não usa esse mecanismo.

Ao codificar ou decodificar, você pode consultar a file.encodingpropriedade ou Charset.defaultCharset()encontrar a codificação padrão atual e usar o método apropriado ou a sobrecarga do construtor para especificá-la.

Na documentação da interface da ferramenta JVM ™ …

Como a linha de comando nem sempre pode ser acessada ou modificada, por exemplo, em VMs incorporadas ou simplesmente VMs ativadas profundamente nos scripts, uma JAVA_TOOL_OPTIONSvariável é fornecida para que os agentes possam ser iniciados nesses casos.

Ao definir a variável de ambiente (Windows) JAVA_TOOL_OPTIONScomo -Dfile.encoding=UTF8, a Systempropriedade (Java) será configurada automaticamente sempre que uma JVM for iniciada. Você saberá que o parâmetro foi escolhido porque a seguinte mensagem será publicada em System.err:

Picked up JAVA_TOOL_OPTIONS: -Dfile.encoding=UTF8

Eu tenho uma maneira hacky que definitivamente funciona !!

System.setProperty("file.encoding","UTF-8");
Field charset = Charset.class.getDeclaredField("defaultCharset");
charset.setAccessible(true);
charset.set(null,null);

Dessa forma, você enganará a JVM, que pensaria que o charset não está definido e o configuraria novamente para UTF-8, em tempo de execução!

Eu acho que uma abordagem melhor do que definir o conjunto de caracteres padrão da plataforma, especialmente porque você parece ter restrições em afetar a implantação do aplicativo, e muito menos a plataforma, é chamar de muito mais seguro String.getBytes("charsetName"). Dessa forma, seu aplicativo não depende de coisas além de seu controle.

Pessoalmente, acho que isso String.getBytes()deve ser descontinuado, pois causou sérios problemas em vários casos que já vi, nos quais o desenvolvedor não considerou o charset padrão possivelmente alterado.

Não consigo responder à sua pergunta original, mas gostaria de lhe oferecer alguns conselhos - não dependa da codificação padrão da JVM. É sempre melhor especificar explicitamente a codificação desejada (por exemplo, "UTF-8") no seu código. Dessa forma, você sabe que funcionará mesmo em diferentes sistemas e configurações de JVM.

Tente o seguinte:

    new OutputStreamWriter( new FileOutputStream("Your_file_fullpath" ),Charset.forName("UTF8"))

Estávamos tendo os mesmos problemas. Metodologicamente, tentamos várias sugestões deste artigo (e de outros) sem sucesso. Também tentamos adicionar o -Dfile.encoding=UTF8e nada parecia estar funcionando.

Para as pessoas que estão tendo este problema, o seguinte artigo finalmente nos ajudou a rastrear descreve como a definição de região pode quebrar unicode/UTF-8emJava/Tomcat

http://www.jvmhost.com/articles/locale-breaks-unicode-utf-8-java-tomcat

Definir o código do idioma corretamente no ~/.bashrcarquivo funcionou para nós.

Eu tentei muitas coisas, mas o código de exemplo aqui funciona perfeitamente. Ligação

O cerne do código é:

String s = "एक गाव में एक किसान";
String out = new String(s.getBytes("UTF-8"), "ISO-8859-1");

Caso você esteja usando o Spring Boot e deseje passar o argumento file.encodingna JVM, execute-o assim:

mvn spring-boot:run -Drun.jvmArguments="-Dfile.encoding=UTF-8"

isso foi necessário para nós, pois estávamos usando JTwigmodelos e o sistema operacional tinha ANSI_X3.4-1968descoberto por meio deSystem.out.println(System.getProperty("file.encoding"));

Espero que isso ajude alguém!

Estou usando o Amazon (AWS) Elastic Beanstalk e o alterei com sucesso para UTF-8.

No Elastic Beanstalk, vá para Configuração> Software, "Propriedades do ambiente". Inclua (nome) JAVA_TOOL_OPTIONS com (value) -Dfile.encoding = UTF8

Após salvar, o ambiente será reiniciado com a codificação UTF-8.

Não está claro o que você faz e não tem controle neste momento. Se você puder interpor uma classe OutputStream diferente no arquivo de destino, poderá usar um subtipo de OutputStream que converta Strings em bytes em um conjunto de caracteres definido, por exemplo, UTF-8. Se o UTF-8 modificado for suficiente para suas necessidades, você poderá usar DataOutputStream.writeUTF(String):

byte inbytes[] = new byte[1024];
FileInputStream fis = new FileInputStream("response.txt");
fis.read(inbytes);
String in = new String(inbytes, "UTF8");
DataOutputStream out = new DataOutputStream(new FileOutputStream("response-2.txt"));
out.writeUTF(in); // no getBytes() here

Se essa abordagem não for viável, pode ser útil esclarecer aqui exatamente o que você pode e não pode controlar em termos de fluxo de dados e ambiente de execução (embora eu saiba que às vezes é mais fácil dizer do que determinar). Boa sorte.

mvn clean install -Dfile.encoding=UTF-8 -Dmaven.repo.local=/path-to-m2

O comando trabalhou com exec-maven-plugin para resolver o seguinte erro ao configurar uma tarefa jenkins.

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512m; support was removed in 8.0
Error occurred during initialization of VM
java.nio.charset.IllegalCharsetNameException: "UTF-8"
    at java.nio.charset.Charset.checkName(Charset.java:315)
    at java.nio.charset.Charset.lookup2(Charset.java:484)
    at java.nio.charset.Charset.lookup(Charset.java:464)
    at java.nio.charset.Charset.defaultCharset(Charset.java:609)
    at sun.nio.cs.StreamEncoder.forOutputStreamWriter(StreamEncoder.java:56)
    at java.io.OutputStreamWriter.<init>(OutputStreamWriter.java:111)
    at java.io.PrintStream.<init>(PrintStream.java:104)
    at java.io.PrintStream.<init>(PrintStream.java:151)
    at java.lang.System.newPrintStream(System.java:1148)
    at java.lang.System.initializeSystemClass(System.java:1192)

Definimos duas propriedades do sistema juntas e isso faz com que o sistema leve tudo para o utf8

file.encoding=UTF8
client.encoding.override＝UTF-8

Após o comentário do @Caspar na resposta aceita, a maneira preferida de corrigir isso de acordo com a Sun é:

"altere o código de idioma da plataforma subjacente antes de iniciar seu programa Java."

http://bugs.java.com/view_bug.do?bug_id=4163515

Para janela de encaixe, consulte:

http://jaredmarkell.com/docker-and-locales/

Recentemente, deparei-me com o sistema Notes 6.5 de uma empresa local e descobri que o webmail mostraria caracteres não identificáveis ​​em uma instalação do Windows que não fosse Zhongwen. Pesquisei por várias semanas on-line, descobri isso há apenas alguns minutos:

Nas propriedades Java, inclua a seguinte sequência em Parâmetros de Tempo de Execução

-Dfile.encoding=MS950 -Duser.language=zh -Duser.country=TW -Dsun.jnu.encoding=MS950

A configuração UTF-8 não funcionaria neste caso.

Minha equipe encontrou o mesmo problema em máquinas com Windows. Em seguida, conseguiu resolvê-lo de duas maneiras:

a) Defina a variável de ambiente (mesmo nas preferências do sistema Windows)

JAVA_TOOL_OPTIONS
-Dfile.encoding = UTF8

b) Introduza o seguinte snippet no seu pom.xml:

 -Dfile.encoding=UTF-8 

DENTRO

 <jvmArguments>
 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8001
 -Dfile.encoding=UTF-8
 </jvmArguments>