RIBES: Rank-based Intuitive Bilingual Evaluation Score

(in English)

RIBESについて

RIBES(ライビーズ)は NTT コミュニケーション科学基礎研究所 で開発された,機械翻訳の結果を自動的に評価するための尺度です.
このページではRIBESを計算するためのプログラムを配布しています.

ダウンロード

プログラムは GNU General Public License (ver.2) に基づいて配布されています.
ダウンロードに際してはライセンス条項に同意していただく必要があります.
Click to Download : バージョン (2014/9/8) -- Python 2の split の互換性の問題を修正しました。/ オプション -z/--emptryref により参照訳中の空行を許容するようにしました(その行は評価から除かれます)。
2014/10/1更新: ダウンロードページのリンクミスがありました。問題を修正しましたので再度ダウンロードしてください.
ダウンロード : バージョン 1.03 (2014/8/13) -- Python 2.6 以降をサポートしました。 / サポートする文字コードを utf-8 に限定しました。 / マルチバイトの空白文字の問題を修正しました(ご指摘くださった Graham Neubig先生に感謝します)。
ダウンロード : バージョン 1.02.4 (2013/12/18) -- 単語対応付けの問題を修正しました.
ダウンロード : バージョン 1.02.3 (2012/2/23)
ダウンロード : バージョン 1.01 (2011/8/10)
* 動作には Python 2.6 以降が必要です.(Python 3.0 はサポートしません。バージョン1.02.4以前はPython 3.1以降)

使い方

コマンドラインで以下のように実行してください.

$ python RIBES.py -r REFERENCE_TRANSLATION EVALUATING_TRANSLATION
その他のオプションについては
$ python RIBES.py -h
で確認してください.

ファイルフォーマット

利用に際して

このプログラムは無保証です.
プログラムを利用することによって発生した損害等について,
NTT コミュニケーション科学基礎研究所および NTT は一切責任を負いません.

参考文献

平尾努,磯崎秀樹,須藤克仁,Kevin Duh,塚田元,永田昌明
語順の相関に基づく機械翻訳の自動評価法
自然言語処理 Vol. 21, No. 3, pp.421--444, Jun. 2014.

平尾努,磯崎秀樹,Kevin Duh,須藤克仁,塚田元,永田昌明
RIBES: 順位相関に基づく翻訳の自動評価法
言語処理学会 第17回年次大会発表論文集 pp.1115--1118, Mar. 2011.

Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, Hajime Tsukada
Automatic Evaluation of Translation Quality for Distant Language Pairs (PDF)
Conference on Empirical Methods on Natural Language Processing (EMNLP), Oct. 2010.

問い合わせ先: (the name of our evaluation measure, lowercased)@lab.ntt.co.jp