まず、実際に雨が降っていたところに対して、雨の予報を出していたかどうかを示す「降水捕捉率」を用いて精度を検証した結果、2020年9月のウェザーニュースの予報精度は90%となりました。
＞＞ウェザーニュース-2020年9月のアメダス地点降水データ

※ここで扱う予報精度は、気象庁の評価方法に準拠した「降水捕捉率」を指しており、朝5時に発表された当日の天気マークを対象としています。
対象地点はアメダス約1300箇所で、1日の積算降水量が1mm以上となった場合を「降水あり」としています。

気象庁も同様に、発表した予報に対して評価を行っており、毎月の降水捕捉率をホームページ上で一般に公開しています。
＞＞気象庁-2020年1月～9月の降水捕捉率

ただ、この降水捕捉率は「雨が降ったところに雨の予報を出していたのかどうか」なので、雨が降っていないところの予報については、考慮していないものになります。

そのため、あらかじめ雨の予報を多く出しておけば、当たる確率が高くなるということになってしまいます。極端なことを言うと、全地点に毎日雨が降ると予報すると精度100％になるのです。

また、ウェザーニュースでは、より一般の方の感覚に合う天気予報を出せるように努めています。

ウェザーニュースには、アプリ会員から現地の空の写真とコメントを送っていただく「ウェザーリポート」という制度があり、写真を撮ることが難しい場合には、雨や晴れなどの天気報告を送っていただいています。

これにより、1mmに満たないような弱い雨でも、実際には現地にいる人が「雨が降っている」と感じていることがわかっています。

そのため、1mmに満たないような弱い雨でも、現地で“雨が降っている”と感じる降り方の雨になると予想すれば、雨予報をお伝えしていくことにしているのです。

そこで、ウェザーニュースの雨予報のスタンスに合うように、精度評価を行いました。

ここでは降水捕捉率(1mm以上の雨で計算)ではなく、雨が降る・降らないそれぞれの予報に対する精度として【適中率】と呼ばれるもので評価を行っています。

この【適中率】とは、
　・雨予報のところは、雨が降ったら正解
　・雨が降らない予報では、雨が降らなかったら正解
という、雨が降る・降らないそれぞれの予報に対して評価をする指標です。

また、現地で“雨が降っている”と感じる1mmに満たない弱い雨についても評価するため、1日の積算降水量が0.5mm以上となった場合を「降水あり」として算出しています。

その結果、2020年9月のウェザーニュースの適中率は81.3％となりました。
＞＞ウェザーニュース-2020年9月の適中率評価データ
その他は、降水捕捉率での評価と同じく、朝5時に発表された当日の天気マークを対象とし、対象地点はアメダス約1300箇所です。

気象庁も適中率についても毎月の値をホームページ上で公開しており、2020年9月においては81％としています。（※気象庁は1mm以上を降水ありとして算出）

9月は夏の名残でゲリラ豪雨が発生することもあり、雨が降る・降らないの予報が難しい時期です。それに加えて台風も日本列島に接近し

これから梅雨を迎えるように日本には季節があり、雨が降りやすい日が多くなったり、晴れる日が多くなったりと、その季節その月によって天気が異なります。
そのため、天気予報も雨の予報が多い月もあれば、少ない月も存在するため、予報の精度も季節変化、月による変化も出てくるのです。

ウェザーニュースが発表した今年と昨年(2019年)の各月の予報精度を比較すると、今年の方が平均して5ポイントほど高くなりました。

このように、ウェザーニュースが精度の高い天気予報をお伝えできる裏側には、以下の3つの独自のシステムがあります。

＜日本中を網羅する独自観測ネットワーク＞
ウェザーニュースでは、全国に数多くいる会員の方（ウェザーリポーター）に、今いる場所の天気や現地の空の写真をリアルタイムに共有して頂いています。それに加え、独自観測機やライブカメラなど、合わせて1万3000地点の独自観測網もあるため、詳細に天気を把握することができています。

＜複数の予測モデルに加え、日々の評価で予測アルゴリズムを最適化＞
ウェザーニュースでは世界各国にある気象機関の気象予測モデルの計算に加え、独自の気象予測モデルによる計算結果も取り入れて、日々の天気予報を作っています。これを、上記の独自観測ネットワークで把握した各地の現在の天気情報などを用いて日々評価し、最も精度が高くなるようにチューニングを行っています。

2020年は日々評価したこのチューニングによって、天気のパターンごとに独自の天気予報を出すアルゴリズムがより確立されて、昨年よりも精度の高い予報をお伝えできるようになっています。

＜1km四方ごとの超高密度な天気予報＞
また、この独自のアルゴリズムで発表される天気予報は、1km四方ごとと非常に高解像度な予報として発表されます。さらに、地域ごとの天気の特徴(地域特性)をアルゴリズムに取り入れることで、通常は予測するのが難しい局地的な現象についても、より正確に予報に反映することができています。

天気予報の精度を計測するには、適中率や降水捕捉率などいくつかの方法があります。

「適中率」は気象庁によると、正確には"降水の有無の適中率"とされていて、晴れと曇りの区別はありません。これは発表した全ての予報に対して、降水有りの予報のうち実況で降水があった場合と、降水無しの予報のうち実況で降水が無かった場合、この2つを正解としてその割合をみるものになります。この場合、降水の有無に対して外れと判定されたものは、見逃しと空振りが混在することになります。

「降水捕捉率」はこちらも気象庁によると、実況で降水があった場所に対して降水有りと予報していたか、をみるものとされています。この評価方法であれば生活への影響がより大きいとされる降水に対して正しく予報できていたかをみることができます。ただし、空振りをある程度は許容する予報となってしまうきらいがあります。

このように評価方法はそれぞれ特徴を持っています。ウェザーニューズ予報センターでは、この特徴を踏まえて適中率、降水捕捉率をともに計測しています。
日々の予報の中では、見逃しによるリスクが大きいと考えられる気象状況であれば見逃しを、空振りによるリスクが大きいと考えられる気象状況であれば空振りを、それぞれ最小限にするようにバランスをとりながら運営を行っています。

これからも予報精度評価の計測結果を基に改善点を探り、それを予報システムに活かして、より精度の高い予報を発信するためのサイクルを運営し続けていきます。

＞＞【予報精度向上への取り組み】予報のはずれを感じたらこちらへ報告

---