【Yahoo!ニュース】投稿内容の表現の見直しを提案するAI「コメント添削モデル」導入後の効果を発表

「コメント添削モデル」の提供後、「不快と感じる可能性のあるコメント」の投稿が約24%減少

LINEヤフー株式会社（以下、LINEヤフー）は、日本最大級のインターネットニュース配信サービス「Yahoo!ニュース」が提供する「Yahoo!ニュース コメント（以下、ヤフコメ）」の投稿において、投稿内容の表現の見直しを提案するAI「コメント添削モデル」の導入後の効果を発表しました。

<「コメント添削モデル」導入後の効果>
・「不快と感じる可能性のあるコメント（以下、「不快なコメント」）」（※1）の投稿が約24%減少
・「コメント添削モデル」が発動し修正されたコメントのうち、約50%が不快度（※2）の低いコメントに改善

<「コメント添削モデル」概要・導入の背景>
「ヤフコメ」では、「Yahoo!ニュース コメントポリシー（以下、「コメントポリシー」）」（※3）違反に該当しないものの、コメント閲覧者にとって「不快なコメント」が投稿されるケースがありました。「コメント添削モデル」は、コメントポリシーに違反するコメントや、違反には該当しないものの閲覧者が不快に感じる表現に対して、AIがユーザーのコメント投稿完了前に見直しを提案するものです。ユーザーの表現の自由を尊重しつつ、コメントを投稿する前に表現を見直す機会をユーザーに提供することは、有識者からも重要性が提起されており、そのような意見を踏まえて2024年9月より「コメント添削モデル」の導入を開始しました。



「Yahoo!ニュース」は、ユーザーがニュースに関する多様な意見を共有しあい、新たな視点を得るきっかけを創出することを目的として、「ヤフコメ」を2007年から提供しています。

「Yahoo!ニュース」では、ユーザーの表現の自由を尊重しつつ、より安心して利用できるサービス環境を目指し、誹謗中傷などを含む投稿を禁止し、「コメントポリシー」に違反投稿の具体例を明示しています。24時間体制の専門チームによる人的なパトロールや、LINEヤフーが開発したAI「深層学習を用いた自然言語処理モデル」などを活用し、誹謗中傷などを含む違反コメントの削除などの対策に努めています。同AIモデルを活用し建設的なコメントを上位表示させる「建設的コメント順位付けモデル」や、多様な切り口のコメントを上位へ優先的に表示する「コメント多様化モデル」、今回の「コメント添削モデル」など、「ヤフコメ」の健全化のため複数のAIを導入しています。

そしてこのたび、「コメント添削モデル」導入後の効果を検証しました。本検証では「コメント添削モデル」の発動対象である「コメントポリシーに違反するコメント」やコメントポリシー違反に該当しないもののコメント閲覧者が不快に感じる表現であるかを定量的にはかるため、「不適切投稿判定モデル」で不快度を点数化し、その点数を元に、一定の点数以上のコメントを「不快なコメント」と定義しました。検証期間（※4）の「不快なコメント」数の平均を比較した結果、「コメント添削モデル」の導入後、一定の不快度を超える「不快なコメント」の投稿は、導入前に比べて約24%減少したことがわかりました。

また、「コメント添削モデル」が発動したことで、ユーザーがコメントを投稿する前に表現の見直しを実施したかを検証しました。その結果、「コメント添削モデル」が発動し修正されたコメントのうち、約50%が不快度の低いコメントに書き直して投稿されたことがわかりました。

さらに、「ヤフコメ」全体のコメント投稿数の傾向は変化することなく、「不快なコメント」が減少したことがわかりました。これにより「コメント添削モデル」の発動により、ユーザーが自発的にコメントの見直しを実施し、「ヤフコメ」の健全化に寄与したことが窺えます。








※1 「不快と感じる可能性のあるコメント」：「不適切投稿判定モデル」によりコメントの「不快度」を点数化し、一定の点数を超えたコメント
※2 「不快度」：「Yahoo!ニュース」が定量的に効果検証するために、過度な批判や誹謗中傷、差別、わいせつや暴的などのガイドラインの項目に違反するおそれのあるコメントをAIが点数化する「不適切投稿判定モデル」を活用し、総合的に点数化したもの
※3 Yahoo!ニュース コメントポリシー：https://news.yahoo.co.jp/info/comment-policy
※4 「コメント添削モデル」導入前の2024年8月12日~9月8日と導入後の2024年9月9日~10月6日

参考：
・AIを軸に振り返る「Yahoo!ニュース コメント」健全化の取り組み（newsHACK）
https://news.yahoo.co.jp/newshack/inside/news_comment2023.html
・Yahoo!ニュース、コメント欄のさらなる健全化を目指しAIが表現の見直しを提案する「コメント添削モデル」の導入を開始（プレスリリース）
https://www.lycorp.co.jp/ja/news/release/009291/


「Yahoo!ニュース」は今後も、「ヤフコメ」に投稿される多様な考えや意見によって、ユーザーがニュースに対する興味や多角的な視点を持つきっかけを提供するとともに、日本のインターネットにおける健全な言論空間を構築し、より良い社会の実現に向けて全力を尽くしていきます。