# 結論
大きな世代差は、旧BASELINEからSTRICT444への更新です。 all-voteは85.29%から92.65%、3-voteは77.79%から89.23%へ上がり、 メス・オスの両方で改善しました。
現在のV2.0は、このSTRICT444系を一般判定として使いながら、確認済みデータによる 補助判定を加えた最新モデルです。旧BASELINEと旧pseudo headが現在の土台、という意味ではありません。
# モデルの系譜
animal518_head.npz
confirmedのみ。DINOv2 ViT-L/14 + Logistic。
PRODUCT all-vote 85.29%AUC 0.7166 / macro 0.6966
animal518_pseudo_head.npz
旧pseudo 1,033枚。weight 0.6、C=0.3。
実運用では旧BASELINEより改善。ただしhard female 3枚は p♀=0.016 / 0.005 / 0.003で、すべてオス判定。
AUC 0.8670 / macro 0.8102
ALL_CONFIRMED 同条件をconfirmed 50個体全体で評価。 all-vote 93.00% / AUC 0.8716
macro 87.51% / AUC 0.8675
macro 86.50% / AUC 0.8711
fixed Cの行は学習条件の比較であり、別々の公開バージョンではありません。 現在のV2.0はSTRICT444系の一般判定に補助判定を加えたものです。
# 旧BASELINEからの差
female / maleが同時に改善。特にmaleは85.71%から92.86%まで上がり、確認した範囲で既存挙動の破損はありませんでした。
# 外部hard female
OOFの平均値だけでは拾えない弱点も確認されています。旧pseudo headは外部の難しいメス3枚を p♀=0.016 / 0.005 / 0.003と強くオス判定し、STRICT444系も追加前は同じ失敗をしました。
現在のV2.0では、追加確認したメスがp♀≈0.98、同種のオスがp♀≈0.00となり、 ネット由来の別個体も概ね正しく判定しています。これは同種内の雌雄差を拾う方向へ進んだ 有望な結果ですが、独立したblind external setによる精度測定ではありません。
# 数字の読み方
- STRICT444の92.65%は、個体グループを分離したrepeated grouped OOFの評価です。
- 単一のfinal headを、未知の撮影者・未知の環境で測った「実世界の確定精度」ではありません。
- fixed Cのgroup vote、画像単位精度、PRODUCT all-voteは集計単位が異なるため、同じ数字として直接比較できません。
- 現在のV2.0の補助判定を含む全体精度は、個体・撮影者・出典を分離したblind external setで次に測る必要があります。
結果画面では補正の有無にかかわらず同じ形式で表示し、内部の判定経路は個別には公開していません。 判定スコアも正解率の保証ではありません。