信頼性スコアの計算方法

サンプル

Reliability v1 は「該当媒体から取り込み AI 分析を完了した全記事」を対象とします。analyzed が 5 件未満の媒体はサンプル不足と表示されます(ノイズ回避)。記事ソースは該当媒体の公開 RSS で、我々が取り込んでいない区分(動画、有料コンテンツ)は含みません。

計算式

reliability =
   50 × confidence_norm
 + 30 × success_rate
 + 20 × volume_norm

confidence_norm = avg(confidence)                  ∈ [0, 1]
success_rate    = analyzed / (analyzed + failed)
volume_norm     = min(1, log10(analyzed + 1) / log10(100))

3 つの要素を線形加重: モデルの平均自己評価 confidence(上限 50)、AI 分析成功率(上限 30、HTML の整形度と解析失敗頻度を反映)、サンプル量(上限 20、log スケール、100 件で飽和)。秘匿パラメータなし、完全に再現可能。

ランク

• EXCELLENT高品質・サンプル充足・分析安定85-100
• GOOD概ね安定、軽微な注意点あり70-84
• FAIRサンプルは十分だが一部指標に注意55-69
• POORサンプルは十分だが総合が低い、他媒体と併読推奨0-54
• INSUFFICIENTスコア算出に十分な analyzed が未達(< 5)、累積中—

既知の制約

v1 は「分析安定性 + サンプル量」のみを測定し、内容バイアス・引用品質・訂正履歴といった本来の信頼性次元は含みません。Spec 13 完全版では、感情中立性・引用信頼性・推測抑制・見出し誠実性・多視点カバレッジの 5 次元を追加します。それまでこのスコアは baseline のみとお考えください。なお confidence は AI モデルの自己評価であり、「報道の真偽」を表すものではありません。

スコアにご意見がある場合

スコア対象の媒体関係者の方、または明らかに不当だと感じる読者の方は [email protected] までご連絡ください。合理的な申立はすべて、当方の原データとともに公開回答します。