Como posso iterar pelos pontos de código Unicode de uma string Java?

Eu sei String#codePointAt(int), mas é indexado pelo chardeslocamento, não pelo deslocamento do ponto de código.

Estou pensando em tentar algo como:

• usando String#charAt(int)para obter o charem um índice
• testando se o charestá na faixa de substitutos elevados
  • em caso afirmativo, use String#codePointAt(int)para obter o ponto de código e incremente o índice em 2
  • caso contrário, use o charvalor fornecido como ponto de código e aumente o índice em 1

Mas minhas preocupações são

• Não tenho certeza se os pontos de código que estão naturalmente na faixa de substitutos elevados serão armazenados como dois charvalores ou um
• esta parece uma maneira terrivelmente cara de iterar pelos personagens
• alguém deve ter inventado algo melhor.

Sim, Java usa uma codificação UTF-16-esque para representações internas de Strings, e, sim, ele codifica caracteres fora do Basic Multilingual Plane ( BMP ) usando o esquema de substituição.

Se você sabe que estará lidando com caracteres fora do BMP, esta é a maneira canônica de iterar os caracteres de uma string Java:

final int length = s.length();
for (int offset = 0; offset < length; ) {
   final int codepoint = s.codePointAt(offset);

   // do something with the codepoint

   offset += Character.charCount(codepoint);
}

Java 8 adicionado, CharSequence#codePointsque retorna um IntStreamcontendo os pontos de código. Você pode usar o stream diretamente para iterar sobre eles:

string.codePoints().forEach(c -> ...);

ou com um loop for coletando o stream em uma matriz:

for(int c : string.codePoints().toArray()){
    ...
}

Essas formas são provavelmente mais caras do que a solução de Jonathan Feinbergs , mas são mais rápidas de ler / gravar e a diferença de desempenho geralmente será insignificante.

A iteração de pontos de código é registrada como uma solicitação de recurso na Sun.

Veja a entrada do Sun Bug

Também há um exemplo de como iterar em String CodePoints.

Pensei em adicionar um método de solução alternativa que funcione com loops foreach ( ref ), além de poder convertê-lo para o novo método String # codePoints do java 8 facilmente ao mudar para o java 8:

Você pode usá-lo com foreach assim:

 for(int codePoint : codePoints(myString)) {
   ....
 }

Aqui está o método auxiliar:

public static Iterable<Integer> codePoints(final String string) {
  return new Iterable<Integer>() {
    public Iterator<Integer> iterator() {
      return new Iterator<Integer>() {
        int nextIndex = 0;
        public boolean hasNext() {
          return nextIndex < string.length();
        }
        public Integer next() {
          int result = string.codePointAt(nextIndex);
          nextIndex += Character.charCount(result);
          return result;
        }
        public void remove() {
          throw new UnsupportedOperationException();
        }
      };
    }
  };
}

Ou, alternativamente, se você quiser apenas converter uma string em uma matriz de int (que pode usar mais RAM do que a abordagem acima):

 public static List<Integer> stringToCodePoints(String in) {
    if( in == null)
      throw new NullPointerException("got null");
    List<Integer> out = new ArrayList<Integer>();
    final int length = in.length();
    for (int offset = 0; offset < length; ) {
      final int codepoint = in.codePointAt(offset);
      out.add(codepoint);
      offset += Character.charCount(codepoint);
    }
    return out;
  }

Felizmente, usa "codePoints" para lidar com o par substituto do UTF-16 (representação de string interna do java).