ruby 1.9: sequência de bytes inválida em UTF-8

Estou escrevendo um rastreador em Ruby (1.9) que consome muito HTML de muitos sites aleatórios.
Ao tentar extrair links, decidi usar apenas .scan(/href="(.*?)"/i)nokogiri / hpricot (maior aceleração). O problema é que agora recebo muitos invalid byte sequence in UTF-8erros " ".
Pelo que entendi, a net/httpbiblioteca não tem opções específicas de codificação e o material que vem basicamente não está devidamente marcado.
Qual seria a melhor maneira de realmente trabalhar com os dados recebidos? Tentei .encodecom o conjunto de opções substituir e inválido, mas sem sucesso até agora ...

No Ruby 1.9.3, é possível usar String.encode para "ignorar" as sequências UTF-8 inválidas. Aqui está um snippet que funcionará em 1.8 ( iconv ) e 1.9 ( String # encode ):

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

ou se você tiver realmente problemas de entrada, pode fazer uma conversão dupla de UTF-8 para UTF-16 e de volta para UTF-8:

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

A resposta aceita nem a outra resposta funcionam para mim. Eu encontrei esta postagem que sugeria

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

Isso resolveu o problema para mim.

Minha solução atual é executar:

my_string.unpack("C*").pack("U*")

Isso vai pelo menos me livrar das exceções que eram o meu principal problema

Experimente isto:

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

Eu recomendo que você use um analisador HTML. Basta encontrar o mais rápido.

Analisar HTML não é tão fácil quanto pode parecer.

Os navegadores analisam sequências UTF-8 inválidas, em documentos HTML UTF-8, apenas colocando o símbolo " ". Portanto, uma vez que a sequência UTF-8 inválida no HTML é analisada, o texto resultante é uma string válida.

Mesmo dentro dos valores de atributo, você deve decodificar entidades HTML como amp

Esta é uma grande pergunta que resume por que você não pode analisar HTML de forma confiável com uma expressão regular: RegEx corresponde a tags abertas, exceto tags XHTML independentes

Isso parece funcionar:

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

Eu encontrei string, que tinha combinações de inglês, russo e alguns outros alfabetos, o que causou exceção. Preciso apenas de russo e inglês, e isso atualmente funciona para mim:

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

Embora a solução de Nakilon funcione, pelo menos no que diz respeito a superar o erro, no meu caso, eu tinha esse caractere estranho f-ed up originário do Microsoft Excel convertido para CSV que estava sendo registrado em ruby ​​como um (veja só) cirílico K que em ruby era um K. em negrito. Para corrigir isso, usei 'iso-8859-1' viz. CSV.parse(f, :encoding => "iso-8859-1"), que transformou meu K cirílico esquisito em muito mais gerenciável /\xCA/, que eu poderia remover comstring.gsub!(/\xCA/, '')

Antes de usar scan, certifique-se de que o Content-Typecabeçalho da página solicitada seja text/html, uma vez que pode haver links para coisas como imagens que não estão codificadas em UTF-8. A página também pode ser não-html se você selecionar um hrefem algo como um <link>elemento. A forma de verificar isso varia de acordo com a biblioteca HTTP que você está usando. Em seguida, certifique-se de que o resultado seja apenas ascii com String#ascii_only?(não UTF-8 porque o HTML deve usar apenas ascii, as entidades podem ser usadas de outra forma). Se ambos os testes passarem, é seguro usar scan.

Se você não "se importa" com os dados, pode simplesmente fazer algo como:

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

Eu costumava valid_encoding?passar por ele. O meu é um campo de busca, então eu estava encontrando a mesma estranheza repetidamente, então usei algo como: apenas para que o sistema não quebrasse. Como eu não controlo a experiência do usuário para autovalidar antes de enviar essas informações (como feedback automático para dizer "simulado!"), Posso simplesmente pegar, retirar e retornar resultados em branco.