Nokogiri and Encoding

Please consider the following SAX Parser built using Nokogiri.

#encoding: UTF-8

require 'nokogiri'

class MyParser < Nokogiri::XML::SAX::Document

  def initialize(&callback)
    @callback = callback
    @buffer = ""
    @parser = Nokogiri::XML::SAX::PushParser.new(self, "UTF-8")
    @elem = nil
    @doc  ||= Nokogiri::XML::Document.new
    super()
  end

  def push(data)
    @parser << data
  end

  def start_element(name, attributes = [])
    @elem = Nokogiri::XML::Element.new(name, @doc)
    attributes.each do |k, v|
      @elem.set_attribute(k, v)
    end
  end

  def end_element(name)
    clear_characters_buffer
    @callback.call(@elem) 
  end

  def clear_characters_buffer
    if @buffer && @elem
      @buffer.strip!
      @elem.add_child(Nokogiri::XML::Text.new(@buffer, @doc)) unless @buffer.empty?
      @buffer = nil # empty the buffer
    end
  end

  def characters(string)
    @buffer ||= ""
    @buffer << string 
  end

end


xml =<<-EOXML
<entry>
<title>Appel à témoins pour émission de TV sur les jobs d'été</title>
<summary type="text">Je laisse la parole à Caroline, journaliste, qui recherche des étudiants pour une émission sur les jobs d'été à la rentrée.</summary>
<link rel="alternate" type="text/html" href="http://www.jobetudiant.net/blog/index.php?2011/04/29/573-appel-tmoins-pour-mission-de-tv-sur-les-jobs-d-t" title="Appel à témoins pour émission de TV sur les jobs d'été"/>
EOXML

p = MyParser.new() do |node|
  puts node.to_xml(:encoding => "UTF-8")
end

p.push(xml)

##
# Output :
## 
# $ ruby encoding-bug.rb 
# <title>Appel à témoins pour émission de TV sur les jobs d'été</title>
# <summary type="text">Je laisse la parole à Caroline, journaliste, qui recherche des étudiants pour une émission sur les jobs d'été à la rentrée.</summary>
# <link rel="alternate" type="text/html" href="http://www.jobetudiant.net/blog/index.php?2011/04/29/573-appel-tmoins-pour-mission-de-tv-sur-les-jobs-d-t" title="Appel &#xE0; t&#xE9;moins pour &#xE9;mission de TV sur les jobs d'&#xE9;t&#xE9;"/>

## 
# Expected :
## 
# $ ruby encoding-bug.rb 
# <title>Appel à témoins pour émission de TV sur les jobs d'été</title>
# <summary type="text">Je laisse la parole à Caroline, journaliste, qui recherche des étudiants pour une émission sur les jobs d'été à la rentrée.</summary>
# <link rel="alternate" type="text/html" href="http://www.jobetudiant.net/blog/index.php?2011/04/29/573-appel-tmoins-pour-mission-d开发者_如何学Goe-tv-sur-les-jobs-d-t" title="Appel à témoins pour émission de TV sur les jobs d'été"/>

As you can see it is fed with a UTF8 string. The SAX parser does a good job at firing the right events with the right strings, but when I try to put that in a document again, for some reason, it doesn't serialize the attributes correctly, by re-encoding them to UTF-8. Anyone clue about what's going on?

It's HTML escaping attribute values. If you change your example to

xml =<<-EOXML
<entry title="jobs d'été">
jobs d'été
</entry>
EOXML

it's clearer:

<entry title="jobs d'&#xE9;t&#xE9;">jobs d'été</entry>

You could convert them back like this

require 'cgi'
p = MyParser.new() do |node|
  puts CGI.unescapeHTML(node.to_xml(:encoding => "UTF-8"))
end

which gives

<entry title="jobs d'été">jobs d'été</entry>