まぁ、多分これは内部エンコーディングがズレてるせいで起きてる問題だろうということで、
httpd.conf内のバーチャルホストの箇所に下記を追加して内部もUTF-8になるように設定。

<IfModule mod_php5.c>
  php_flag  output_buffering              Off
  php_value output_handler                none
  php_value default_charset               UTF-8
  php_value mbstring.http_output          UTF-8
  php_value mbstring.internal_encoding    UTF-8
</IfModule>
これで無事にWordPressの管理画面で正しくサイトタイトルを入力できるようになった。
サーバ内部の問題だからレンタルサーバでWordPressを使ってる人は気付きにくいかも。