■COEテーマ講義「心とことば」（11）田中久美子さん
月曜日はCOEテーマ講義の第11回，
東京大学 情報理工学系研究科 数理情報学専攻の，田中久美子さんのお話でした。
テーマは「コンピュータの自然言語処理」。
前回２回で，「もう言語学はたくさんだ(×_×)」と思っていたのですが，
今回の話はよく理解できたし，とても興味が湧きました。おもしろかった！！
というわけで以下，久しぶりにまともな(^^;)，内容報告です。
ガンジス川のほとり〜ガンジーblog
一生，らくちんな人生を。――閉店しました。長らくのご愛顧に感謝。 
2004年07月07日
COEテーマ講義「心とことば」（11）田中久美子さん
■COEテーマ講義「心とことば」（11）田中久美子さん
月曜日はCOEテーマ講義の第11回，
東京大学 情報理工学系研究科 数理情報学専攻の，田中久美子さんのお話でした。
テーマは「コンピュータの自然言語処理」。
前回２回で，「もう言語学はたくさんだ(×_×)」と思っていたのですが，
今回の話はよく理解できたし，とても興味が湧きました。おもしろかった！！
というわけで以下，久しぶりにまともな(^^;)，内容報告です。
●「自然言語処理」
・自然言語処理＝人間の言語を，コンピュータで処理すること
・自然言語処理の目標：自動翻訳，質問応答，対話システム，自動要約，検索エンジンなどなど…
・では，実際どういう処理をしているのか？
自然言語（入力，例：英文） → 〔解析 → 中間言語 → 生成〕 → 自然言語（出力，例：翻訳文）
〔〕内が，コンピュータ上で行われる処理。
中でも，「解析」が肝。いちばん重要，かつ難しい，かつおもしろい。
●解析
「解析」をもう少し詳しく見てみると…
（１）形態素解析（単語と，その品詞を同定すること）
↓
（２）構文解析
↓
（３）意味解析
・（１）の難しさ：「ここではきものをぬぐ」→「ここで履物を」？「ここでは着物を」？
・（２）の難しさ：「美しい日本の私」→「美しい」のは「日本」？それとも「私」？
★このような「曖昧性」（複数の可能性が挙がること）が自然言語処理で課題となる。
（人工言語（コンピュータ言語）にはない問題。これはもともとそう設計されているからアタリマエ）
・自動翻訳のレベル → 2001年のTOEICで1000点満点中550点だった。
大学生平均が570点，短大生平均が500点。
まだまだ改善の余地ありあり。
●かな漢字変換
ここで話題を少し変えて，現在広く使われている自然言語処理技術の成果→「かな漢字変換」技術，を紹介。
これは日本と中国に特有の技術である。
・なぜ生まれたか？
→ボタンの数が文字数に比べて少ない。
キーボード40くらいに対して，日本語の文字数は6500くらい。
当初，直接入力法（コード入力法）も開発されたが，とても一般向けでない。
そこで1960年代，かな漢字変換技術の開発が始まった。
●かな漢字変換の流れ／応用
（１）ユーザ：かなを入力 ←あいまいな文字列
（２）システム：変換候補を獲得
（３）システム：候補を整列，表示
（４）ユーザ：望む候補を選択
★「曖昧性」を逆に利用している点が特徴的。
・これらは，英語入力にも逆輸入されている。
たとえば，「sky」という単語を携帯電話で入力する際，
現在では「7777 55 999」と入力する。
これを，
「７ ５ ９」と入力しただけで，「sky，sly，ply」などと候補表示されるようにする。
これも広い意味での「かな漢字変換」
・現在の研究課題：（３）候補の整列・表示で候補の良さをどう上げていくか
→確率の高い順に並べる
→ではどう確率を算定するか
さまざまな測定方法
・１語出現確率
かんじ → 漢字，感じ，幹事
・２語並び出現確率
いい｜かんじ → 感じ，幹事，…，漢字
・n語並び出現確率
かれは｜いい｜かんじ → 幹事，感じ，…，漢字
・品詞を利用した出現確率
・学習を利用
巨大なコーパス（大量の文書データ）と個人のコーパスを統合
●実験
「Touch Me Key 4 English」というソフトで行われた入力の早さの実験
時間が経つにつれて，学習がすすみ，入力速度がアップ。
これらは最近はケイタイ，パソコンの入力でももうお馴染みですね。
◆一言感想
おもしろかった！！
日本語は単語の間にハイフンがない，かなと漢字が入り交じっている，などの点で
自然言語処理が難しいのだろうと思っていたが，
逆にそのことが「かな漢字変換」という独自の技術の開発につながり，
今ではそれが他の言語にも応用される，というのはおもしろいなぁ，と思った。
なにより田中さん自身が「これはおもしろいんだよ!!」と思っている，
というのがビシビシ伝わってきて，
話しっぷりもチャキチャキしていて，聞いていてとても気持ちが良かった。
久しぶりに脳みそが喜ぶようなお話が聞けて，満足，満足〜(^^)。
さぁ，テーマ講義「心とことば」も，次回で最終回です。
来週はどんなんかなぁ。たのしみになってきました。（←現金^^;）
【参考サイト】
・東京大学研究者データベース：石井（田中）久美子
・東京大学 大学院 情報理工学系研究科 教員紹介ページ：田中久美子
・★田中久美子公式サイトﾟ･*:.｡. .｡.:*･゜
今回の田中さんとは全く関係ない，アイドルの田中さん？のサイト(^^;)。
同姓同名が多い名前だと検索とか，いろいろ大変ですね(^^;)。
【他の回の記事はこちらから↓】
http://blog.livedoor.jp/gandhi/archives/cat_48505.html
・自然言語処理＝人間の言語を，コンピュータで処理すること
・自然言語処理の目標：自動翻訳，質問応答，対話システム，自動要約，検索エンジンなどなど…
・では，実際どういう処理をしているのか？
自然言語（入力，例：英文） → 〔解析 → 中間言語 → 生成〕 → 自然言語（出力，例：翻訳文）
〔〕内が，コンピュータ上で行われる処理。
中でも，「解析」が肝。いちばん重要，かつ難しい，かつおもしろい。
●解析
「解析」をもう少し詳しく見てみると…
（１）形態素解析（単語と，その品詞を同定すること）
↓
（２）構文解析
↓
（３）意味解析
・（１）の難しさ：「ここではきものをぬぐ」→「ここで履物を」？「ここでは着物を」？
・（２）の難しさ：「美しい日本の私」→「美しい」のは「日本」？それとも「私」？
★このような「曖昧性」（複数の可能性が挙がること）が自然言語処理で課題となる。
（人工言語（コンピュータ言語）にはない問題。これはもともとそう設計されているからアタリマエ）
・自動翻訳のレベル → 2001年のTOEICで1000点満点中550点だった。
大学生平均が570点，短大生平均が500点。
まだまだ改善の余地ありあり。
●かな漢字変換
ここで話題を少し変えて，現在広く使われている自然言語処理技術の成果→「かな漢字変換」技術，を紹介。
これは日本と中国に特有の技術である。
・なぜ生まれたか？
→ボタンの数が文字数に比べて少ない。
キーボード40くらいに対して，日本語の文字数は6500くらい。
当初，直接入力法（コード入力法）も開発されたが，とても一般向けでない。
そこで1960年代，かな漢字変換技術の開発が始まった。
●かな漢字変換の流れ／応用
（１）ユーザ：かなを入力 ←あいまいな文字列
（２）システム：変換候補を獲得
（３）システム：候補を整列，表示
（４）ユーザ：望む候補を選択
★「曖昧性」を逆に利用している点が特徴的。
・これらは，英語入力にも逆輸入されている。
たとえば，「sky」という単語を携帯電話で入力する際，
現在では「7777 55 999」と入力する。
これを，
「７ ５ ９」と入力しただけで，「sky，sly，ply」などと候補表示されるようにする。
これも広い意味での「かな漢字変換」
・現在の研究課題：（３）候補の整列・表示で候補の良さをどう上げていくか
→確率の高い順に並べる
→ではどう確率を算定するか
さまざまな測定方法
・１語出現確率
かんじ → 漢字，感じ，幹事
・２語並び出現確率
いい｜かんじ → 感じ，幹事，…，漢字
・n語並び出現確率
かれは｜いい｜かんじ → 幹事，感じ，…，漢字
・品詞を利用した出現確率
・学習を利用
巨大なコーパス（大量の文書データ）と個人のコーパスを統合
●実験
「Touch Me Key 4 English」というソフトで行われた入力の早さの実験
時間が経つにつれて，学習がすすみ，入力速度がアップ。
これらは最近はケイタイ，パソコンの入力でももうお馴染みですね。
◆一言感想
おもしろかった！！
日本語は単語の間にハイフンがない，かなと漢字が入り交じっている，などの点で
自然言語処理が難しいのだろうと思っていたが，
逆にそのことが「かな漢字変換」という独自の技術の開発につながり，
今ではそれが他の言語にも応用される，というのはおもしろいなぁ，と思った。
なにより田中さん自身が「これはおもしろいんだよ!!」と思っている，
というのがビシビシ伝わってきて，
話しっぷりもチャキチャキしていて，聞いていてとても気持ちが良かった。
久しぶりに脳みそが喜ぶようなお話が聞けて，満足，満足〜(^^)。
さぁ，テーマ講義「心とことば」も，次回で最終回です。
来週はどんなんかなぁ。たのしみになってきました。（←現金^^;）
【参考サイト】
・東京大学研究者データベース：石井（田中）久美子
・東京大学 大学院 情報理工学系研究科 教員紹介ページ：田中久美子
・★田中久美子公式サイトﾟ･*:.｡. .｡.:*･゜
今回の田中さんとは全く関係ない，アイドルの田中さん？のサイト(^^;)。
同姓同名が多い名前だと検索とか，いろいろ大変ですね(^^;)。
【他の回の記事はこちらから↓】
http://blog.livedoor.jp/gandhi/archives/cat_48505.html
