まず、実際に雨が降っていたところに対して、雨の予報を出していたかどうかを示す「降水捕捉率」を用いて精度を検証した結果、2020年9月のウェザーニュースの予報精度は90%となりました。
＞＞ウェザーニュース-2020年9月のアメダス地点降水データ

※ここで扱う予報精度は、気象庁の評価方法に準拠した「降水捕捉率」を指しており、朝5時に発表された当日の天気マークを対象としています。
対象地点はアメダス約1300箇所で、1日の積算降水量が1mm以上となった場合を「降水あり」としています。

気象庁も同様に、発表した予報に対して評価を行っており、毎月の降水捕捉率をホームページ上で一般に公開しています。
＞＞気象庁-2020年1月～9月の降水捕捉率

ただ、この降水捕捉率は「雨が降ったところに雨の予報を出していたのかどうか」なので、雨が降っていないところの予報については、考慮していないものになります。

そのため、あらかじめ雨の予報を多く出しておけば、当たる確率が高くなるということになってしまいます。極端なことを言うと、全地点に毎日雨が降ると予報すると精度100％になるのです。

また、ウェザーニュースでは、より一般の方の感覚に合う天気予報を出せるように努めています。

ウェザーニュースには、アプリ会員から現地の空の写真とコメントを送っていただく「ウェザーリポート」という制度があり、写真を撮ることが難しい場合には、雨や晴れなどの天気報告を送っていただいています。

これにより、1mmに満たないような弱い雨でも、実際には現地にいる人が「雨が降っている」と感じていることがわかっています。

そのため、1mmに満たないような弱い雨でも、現地で“雨が降っている”と感じる降り方の雨になると予想すれば、雨予報をお伝えしていくことにしているのです。

そこで、ウェザーニュースの雨予報のスタンスに合うように、精度評価を行いました。

ここでは降水捕捉率(1mm以上の雨で計算)ではなく、雨が降る・降らないそれぞれの予報に対する精度として【適中率】と呼ばれるもので評価を行っています。

この【適中率】とは、
　・雨予報のところは、雨が降ったら正解
　・雨が降らない予報では、雨が降らなかったら正解
という、雨が降る・降らないそれぞれの予報に対して評価をする指標です。

また、現地で“雨が降っている”と感じる1mmに満たない弱い雨についても評価するため、1日の積算降水量が0.5mm以上となった場合を「降水あり」として算出しています。

その結果、2020年9月のウェザーニュースの適中率は81.3％となりました。
＞＞ウェザーニュース-2020年9月の適中率評価データ
その他は、降水捕捉率での評価と同じく、朝5時に発表された当日の天気マークを対象とし、対象地点はアメダス約1300箇所です。

気象庁も適中率についても毎月の値をホームページ上で公開しており、2020年9月においては81％としています。（※気象庁は1mm以上を降水ありとして算出）

天気予報の精度を計測するには、適中率や降水捕捉率などいくつかの方法があります。

「適中率」は気象庁によると、正確には"降水の有無の適中率"とされていて、晴れと曇りの区別はありません。これは発表した全ての予報に対して、降水有りの予報のうち実況で降水があった場合と、降水無しの予報のうち実況で降水が無かった場合、この2つを正解としてその割合をみるものになります。この場合、降水の有無に対して外れと判定されたものは、見逃しと空振りが混在することになります。

「降水捕捉率」はこちらも気象庁によると、実況で降水があった場所に対して降水有りと予報していたか、をみるものとされています。この評価方法であれば生活への影響がより大きいとされる降水に対して正しく予報できていたかをみることができます。ただし、空振りをある程度は許容する予報となってしまうきらいがあります。

このように評価方法はそれぞれ特徴を持っています。ウェザーニューズ予報センターでは、この特徴を踏まえて適中率、降水捕捉率をともに計測しています。
日々の予報の中では、見逃しによるリスクが大きいと考えられる気象状況であれば見逃しを、空振りによるリスクが大きいと考えられる気象状況であれば空振りを、それぞれ最小限にするようにバランスをとりながら運営を行っています。

これからも予報精度評価の計測結果を基に改善点を探り、それを予報システムに活かして、より精度の高い予報を発信するためのサイクルを運営し続けていきます。

＞＞【予報精度向上への取り組み】予報のはずれを感じたらこちらへ報告

---