VERMIS·DIMORPH V2.0

モデル比較

← 判定ページへ戻る

# 結論

大きな世代差は、旧BASELINEからSTRICT444への更新です。 all-voteは85.29%から92.65%、3-voteは77.79%から89.23%へ上がり、 メス・オスの両方で改善しました。

現在のV2.0は、このSTRICT444系を一般判定として使いながら、確認済みデータによる 補助判定を加えた最新モデルです。旧BASELINEと旧pseudo headが現在の土台、という意味ではありません。

# モデルの系譜

モデル / 条件 概要 代表性能
旧BASELINEanimal518_head.npz confirmedのみ。DINOv2 ViT-L/14 + Logistic。 PRODUCT all-vote 85.29%
AUC 0.7166 / macro 0.6966
旧pseudo headanimal518_pseudo_head.npz 旧pseudo 1,033枚。weight 0.6、C=0.3。 実運用では旧BASELINEより改善。ただしhard female 3枚は p♀=0.016 / 0.005 / 0.003で、すべてオス判定。
STRICT444 / w0.60 production segmentation修正後のSTRICT pseudo 444個体・1,629枚。 PRODUCT all-vote 92.65% / 3-vote 89.23%
AUC 0.8670 / macro 0.8102
STRICT444
ALL_CONFIRMED
同条件をconfirmed 50個体全体で評価。 all-vote 93.00% / AUC 0.8716
fixed C=0.30 STRICT444をC固定で再学習した比較実験。 OOF group vote 98% / image 79.53%
macro 87.51% / AUC 0.8675
fixed C=1.0 同じくC固定で再学習した比較実験。 group vote 96% / image 78.76%
macro 86.50% / AUC 0.8711

fixed Cの行は学習条件の比較であり、別々の公開バージョンではありません。 現在のV2.0はSTRICT444系の一般判定に補助判定を加えたものです。

# 旧BASELINEからの差

指標 旧BASELINE STRICT444 差
all-vote85.29%92.65%+7.36pt
3-vote77.79%89.23%+11.44pt
AUC0.71660.8670+0.1504
macro0.69660.8102+0.1136
female88.46%92.31%+3.85pt
male85.71%92.86%+7.15pt
errors5.02.5−2.5

female / maleが同時に改善。特にmaleは85.71%から92.86%まで上がり、確認した範囲で既存挙動の破損はありませんでした。

# 外部hard female

OOFの平均値だけでは拾えない弱点も確認されています。旧pseudo headは外部の難しいメス3枚を p♀=0.016 / 0.005 / 0.003と強くオス判定し、STRICT444系も追加前は同じ失敗をしました。

現在のV2.0では、追加確認したメスがp♀≈0.98、同種のオスがp♀≈0.00となり、 ネット由来の別個体も概ね正しく判定しています。これは同種内の雌雄差を拾う方向へ進んだ 有望な結果ですが、独立したblind external setによる精度測定ではありません。

# 数字の読み方

結果画面では補正の有無にかかわらず同じ形式で表示し、内部の判定経路は個別には公開していません。 判定スコアも正解率の保証ではありません。

← 判定ページへ戻る