ウェザーニュースの天気予報精度は
2021年の結果を気象庁と比較

2021年も新型コロナウイルスによる行動制限など、手放しで外出を楽しむことができる機会は少なかったかもしれません。ただ、買い物や通勤、学校行事など、天気が気になる機会は多くありました。

ウェザーニュースでは、より高い精度で天気予報をお伝えできるように、自ら発表した予報に対して毎日精度評価を行っています。2021年の精度はどうだったのか、予報精度改善チームの気象予報士 宇野沢が解説します。

天気予報がハズレるといっても、いろいろなハズレ方があります。晴れると言っていたのに雨が降った、雨の予報だったのに降らなかった、曇りで涼しいと言っていたのにカンカン照り…。

特に嫌なハズレ方といえば「雨の予報じゃなかったのに雨が降った」パターンではないでしょうか。ウェザーニュースでは天気予報を行う上で、特にこのハズレ方が起こらないように注意しています。

この雨を見のがさなかった割合を「降水捕捉率※1」といいます。

毎朝5時に発表した天気予報で、その日の降水捕捉率を評価した結果、2021年一年間を通しての精度は91％となりました。
» 降水捕捉率評価データ

気象庁も同様の評価をホームページに掲載しています。各月の値を比較すると、ウェザーニュースの方が3ポイントから17ポイント高く、ウェザーニュースの天気予報の方が精度が高かったことがわかります。
» 降水捕捉率の比較データ

人々の生活に影響が大きい「降水捕捉率」ですが、実は数値を上げるための抜け道が存在します。「ひたすら雨の予報にしてしまう」ということです。すると、降水捕捉率は100％に近づきますが、一方で「雨予報なのに晴れている」日が多くなり、「当たる」天気予報とは言えなくなって信用は失われます。

そこでウェザーニュースでは、雨が降らない日には降らないと予報をしていた割合も加えたトータルの精度「適中率※2」もチェックをしています。この精度も80から90％あまりと気象庁とほぼ同等の水準を保っているため、偏りなく「当たる」天気予報であったと言えます※3。
» 適中率の比較データ

ウェザーニュースで精度検証に使用している「降水捕捉率」は、上記にあるように、実際に降水があった地点のみを対象としており、雨や雪が降らなかった地点は、当たりはずれの検証対象とはなっていません。

つまり、雨や雪の予報をあえて広域に出しておくと、当たる確率は高くなる傾向にあります。ただ、雨や雪の予報が常に出やすいものでは、正しい天気予報とは言えません。そこで、予報に偏りが生じていないかを検証するために、雨や雪が降っていない地点も検証対象となる「適中率(※2)」という、別の指標でも精度の検証を行っています。

その結果、この適中率に関しても高水準であり、予報の出し方に大きな偏りがないことを示しています。また、気象庁がホ－ムページに掲載している月ごとの値で比較しても、ほぼ同等の結果となりました。(※3)
＞＞ウェザーニュース・気象庁　予報精度比較（適中率）

ウェザーニュースでは、数年前から天気を予測するプロセスにAIを導入するために開発を始めました。独自に保有する世界最大級の気象データベースの過去データをはじめ、専門家のノウハウをデータ化してインプットしたもの、その土地ならではの天気の特徴、季節特有の雨の降り方などを機械学習で取り込んでいます。

さらに、日々の「天気予報」と「実際の天気」についても機械学習を続けています。正解値の把握には、全国3000か所以上に設置されている独自の観測機網や、ウェザーニュースに届くユーザー報告（ウェザーリポート）も役立っています。

この機械学習モデルを段階的に天気予報に取り込んでいるため、精度が向上しているといえます。

ウェザーニュースの予報精度検証は「降水捕捉率」を主軸に行っています。ひとつ前の項目で紹介した「適中率」の方が、雨が降らなかった場合についても評価範囲に入っていますが、なぜでしょうか？

それは、ウェザーニュースが利用者目線で、日々の生活で使いやすく信頼される天気予報を目指しているからです。やはり、降水があるかどうか(雨や雪が降るのか降らないのか)が、予報が外れた際に生活への影響が一番大きいのではないかと考えています。

特にその中でも「雨予報で降らなかった」場合よりも、「雨予報がないのに降った」場合の方が、傘を持っていなかったり、洗濯物を濡らしてしまったりと、日常生活での影響が大きくなってしまいます。

できるだけそのようなことが起きないように、"雨を見逃さないこと"を重視して、降水捕捉率による精度評価に重きを置いており、予報に偏りがないかを適中率を用いて検証を行っています。

ウェザーニュースでは、利用者（サポーター）目線で、日々の生活で使いやすく信頼される天気予報を目指しています。

日々の生活の中で、一番ハズレの影響を受けのが、雨雪が降るかどうか。

なので、これを重視している。

その精度を高めるために、
サポーター情報を組み込んで、使ってもらえれば使ってもらうほど
精度が高められるようにしている？

2021年は、年間平均の予報精度が91%と年間を通じて良い成績を収めることができました。一方、評価対象となった雨の日は年間総計で66,899件あり、91％の精度ということは6,001件はハズレた事を意味します。

予報センターでは毎日、自らの予報の評価や改善のためにハズレた日のデータを蓄積し、独自の予報モデルの最適化を繰り返しています。機械学習やAI等の技術が身近になった現在はこういった作業も以前と比べ、格段に行いやすくなりました。

創業してから36年、我々の予報が完璧だった年はありません。毎年毎年、予報をハズし、法人のお客様や個人サポーターからご指摘を頂いております。ただ私達は、あきらめません。昨日まで最も予報をハズしてきたチームだからこそ、そこから学び、明日には世界で最も予報を当てられるチームになれるんだと信じています。

今後もサポーターの皆さんと一緒に、予報精度向上にチャレンジし続けます。

＞＞【予報精度向上への取り組み】予報のはずれを感じたらこちらへ報告