UTF-8じゃないサイトをaxiosで取得する

axiosはデフォルトでサイトの文字コードをUTF-8決め打ちでデコードしてしまう
なのでUTF-8じゃないサイトを取得すると文字化けする

• how to decode non-utf8 response? · Issue #332 · axios/axios

以下のやり方でUTF-8以外のデコードができるようだ

• responseType に arraybuffer を指定する
• transformResponse で response.data を期待する文字コードにデコードする

自動でエンコーディングを判定してくれるchardetを使うとこんな感じになる

import * as chardet from 'chardet';
import * as iconv from 'iconv-lite';

axios.create({
  responseType: 'arraybuffer',
  transformResponse: data => {
    const encoding = chardet.detect(data);
    if (!encoding) {
      throw new Error('chardet failed to detect encoding');
    }
    return iconv.decode(data, encoding);
  }
})

参考

chardetの仕組みについて

• A composite approach to language/encoding detection

UTF-8じゃないサイトを探す時に役に立った

• 上場企業HP文字コード一覧(2017/10/20) - Google スプレッドシート