記事閲覧
質問掲示板
TOP > 過去ログ > 記事閲覧
fld_nor.gif katagoの形勢判断について
投稿日 : 2020/05/19(Tue) 16:21
投稿者 碁苦労
参照先
sabakiでkatagoと7子局で打ったものです
白が飛んだところで黒はもう勝てないと思い投了しました。
形勢判断のみかたが疑問で質問させてください。

環境はメガパックのバージョン200517にアップデート済
katagoはcuda版
自動形勢判断POが300で最後だけ76000ほどです。

katagoは目差も約20目あるし勝率も99%で間違いなく黒が勝てると読み取れます
どのように計算したら20目も勝てているのかが不明でして、、、

目差はzenが19白リードで銀星囲碁18が17白リードとなっていて
次は黒だから白のリードは少し減るなぁっと自分の感覚と近いのですが

判断に開きがありすぎで、、、参考程度にしようするものでしょうか、、、

投了はまだ早すぎるや、ソフトの不具合では
情報の解釈を間違えている等なにかあれば教えていただきたいです。

1589872911-s-1.png1589872911-s-2.png

件名 Re: katagoの形勢判断について
投稿日 : 2020/05/20(Wed) 01:04
投稿者 hope366
参照先
おそらく黒と白の評価値が反転して表示されていると思います。
https://github.com/lightvector/KataGo/issues/231#issuecomment-630835904
こちらに同じようなエラーについて書かれています。
katagoとleela-zeroをlizzieで動かした時に勝率表示が反転することがあるようですが、どのエンジンを使用するかに関係なく起こるみたいです。
即ち原因はkatagoやleela-zeroなどのエンジンではなくlizzie側にあるのではないかということです。
さらにこのバグは分析を実行したままの状態で石を置いていくと起こるのだそうです。

私の場合はファンがうるさくなるのがいやなので、オンとオフを頻繁に切り替えています。そのせいか上記のバグは今まで一度も経験したことがありません。
他の人が分析オンのままでlizzieを使っているのを横で見ていた時に、あり得ないような勝率表示を何度も見たことがあります。おそらく勝率が反転していたのだと思います。

これに関連してkatagoで誤った符号が使用されるバグについても書かれていますが、これは勝率表示とは関係が無く、katagoが攻撃的に振る舞うか守備的に振る舞うかを調整する機能である「playoutDoublingAdvantage」に関するものであるようです。最新のkatago-v1.4.2でこのバグは修正されたようです。

ちなみにこの「playoutDoublingAdvantage」は、default_gtp.cfgやaggressive_gtp.cfgの中に関連項目がありますので、数値をいじってみるのも面白いかもしれません。
件名 Re: katagoの形勢判断について
投稿日 : 2020/05/20(Wed) 10:58
投稿者 碁苦労
参照先
hope366様
メガパックのBaduk_AI_Megapack_v4.2_x64をインストールしてアップデートバージョン200517
を適用したものなので最新のkatagoになっていると認識しているのですがあってますよね、、、、

lizzieのバグが上がっているという情報がなかったので知ることができてよかったです

しかしsabaki+katagoでもF4の解析でも黒の勝率は99%以上を表示
Go Review Partner+leelaCPU無印での解析でも黒のWR89%程度とかなり高く
(グラフは黒の勝率グラフですが)
Lizgoban+katagoでもあんま使い方不明ですが多分黒が19リードしてて
勝率は高いっすよってことですよね?

katagoのバージョンが最新版であり(確認方法が不明ですが)Lizzie以外でも勝率が同じようであれば
katago+lizzieの不具合ではなく正確な状態での算出されていると取れるのですが

となると考えられる原因は銀星18とzenの判断が間違えているとなるのですが
天頂の囲碁6は白2目リードとのことなのでこれが正確そうですが、、、、(zenとの差が不明ですが)

仮に反転していても白黒とも20目も差があるようには思わないのですが
現在は白がリードですが次黒なのでそれでわずかに黒リードで7子の差だから負けるかなぁ
くらいの感覚なのですが棋力のなさで判断できず、、、、

1589939923-s-1.gif1589939923-s-2.gif1589939923-s-3.png

件名 AIの信用度
投稿日 : 2020/05/20(Wed) 11:38
投稿者 Eba
参照先
囲碁AIの棋力は、いまやプロに数子置かせるほどになっているので、AIが20目勝っていると判断すれば、それを絶対視しがちです。でも棋力がずっと劣る人間では、その判断通りに打てるはずもないですね。(人間でも高段者と級の人では判断も違いますし)sml_sml.gif
私は囲碁仲間に「AIは勝率とか目数とか数字を出すけど、その数字はその局面での計算であって、それから数手進めば読めてなかった順が出てくればまた変化する。だから数字に惑わされず参考程度にしたらいい」と、いつも言ってます。
なまじ数字が出るので、つい信用しがちですが、ほどほどにと思うのです。sml_big.gif

なお、異なる囲碁AIや囲碁ソフトで比較する場合、日本ルールなどルールの統一をしなければ比較になりません。用いるPCも同じにして、考慮時間、スレッド数、POなどもできるだけ統一するのが望ましいです。
件名 Re: katagoの形勢判断について
投稿日 : 2020/05/20(Wed) 12:23
投稿者 碁苦労
参照先
Eba様
10目未満の差であればそれくらいは差が出るだろうと参考程度には考えられるのですが、
あまりにも差がありすぎで(白20勝ちと黒20勝ちでは単純に40目あるので、、、)
もしかしてバグや設定間違いかと思いまして

2.30目ぐらいの差は棋力や条件で差が出るのでそれくらいで考えておくべきなんですかね^^
件名 Re: katagoの形勢判断について
投稿日 : 2020/05/20(Wed) 12:57
投稿者 hope366
参照先
lizzieとsabakiで同じ局面を作ってみました。
手順が不明なので左の勝率の推移を示すグラフは正確ではありませんが、テーマ図におけるkatagoの評価にはほとんど影響しないだろうという認識です。
さて問題のテーマ図ですが、katago最新20bで計算させたら、碁苦労さんと同じように黒番の勝率が99%になりました。
勝率が反転していたのではないかという私の認識は誤りだったようです。
テーマ図から双方katagoが示す最善手を打っていくと、最終的に黒が18-19目有利になりました。テーマ図とほぼ同じ数値です。なので反転はあり得ないですね。

次にZENの形勢判断ですが、碁苦労さんの場合は白が19目有利と表示されていますが、私の場合は白1目有利となりました。何故このような差が生じるのかは不明です。
しかしいずれにしても、ZENとkatagoではkatagoのほうが棋力がかなり上だと思いますので、黒がだいぶ有利だというkatagoの形勢判断のほうが信頼性が高いと思います。
さらに、ZENの形勢判断はほぼ一瞬で表示されますので、詳しく計算した結果ではなく、単純に盤面の配置を見て黒っぽいところは黒地、白っぽいところは白地として計算しているのではないかと思います。
野狐の形勢判断がこれと似た感じだと思うのですが、katagoと大きく数値が違っていることがありあてにならないことが多いです。

katagoのバージョンですが、lizzieフォルダの中にあるREADME.txtの冒頭にどのバージョンのkatagoなのかが明記されています。
katago-v1.4.2のkatago.exe(cuda)は2,721KBなので私はここもチェックしています。

1589947035-s-1.jpg1589947035-s-2.jpg

件名 Re: katagoの形勢判断について
投稿日 : 2020/05/20(Wed) 19:24
投稿者 碁苦労
参照先
hope366様 わざわざ図を作ってもらって申し訳ないです、、、

地合いってその盤面のみで判断するのではないのですか、、、?

目数=目算で通常zenのように白っぽいところを白地で黒っぽいところを黒字で計算するだけで
形勢判断となると、自分と相手の棋力を考慮した現在の状況だと認識しているのですが

勝率はどっちが勝っているかわかればいいので99%でも51%でもいいのですが、、、、
目数はどれくらいかを知る必要があるので20~30違うと支障があるのではと

銀星は7子もおいて前半見る限り損してるから今後の打ち方は同じ位失敗すると
予想して当然白が20目リードしてるでしょ(過去)
zenは過去や将来の可能性の話ではなく現在の状況だけで判断するんだから2,3目でしょ(現在)
katagoは双方最善で打てば現在の状況であれば20黒がリードしているよ(未来)

形勢判断についても、三村プロが天頂6は参考にならないけど天頂7ならかなり参考になるとブログに
書かれていますし、そこそこ明るいというのを見ますのでそれで引っかかったんです

猛烈な責め合いをしていてどこもはっきりしていないなぁという対局ならわかるのですが
すでに双方弱い石がほとんどない状態での判断でああればある程度の棋力があるソフトであれば
判断が可能なのではと思うのですが
(野狐とか棋院エディタとかはおそらく対局用ではないので死活の判断ができいのでは、、、)

katagoの目差の根拠を表示させることができないのでしょうか、、、?
zenや銀星のように目で見て数えた数値の引き算でこれですなら確認しやすいですし
野狐の形勢判断もいやいやこの石死んでるから判断間違ってると確認できるように

目差自体が評価値がみんなに叩かれるから勝率をマイルドにしただけならあれですし
野狐やzenのようにぱっと見た感じを言ってるんじゃなくて
色々読んで数値化している形勢判断での数値を目差といっているなら納得もしやすいのですが、、、

katagoはありえない置き石を置くので他のソフトより強いと確認できるのですが
「目差」が何を指しているか不明でどう参考にしていいか困ってまして

katagoのバージョン確認できました、ありがとうございました^^

あれ?zenの形勢判断がこんなにも違う、、、w
メガパックインストールしてzenのファイルDownload
してlizzieのフォルダに入れるだけであってましたよね、、、、
天頂の囲碁6は白2目なので誤差レベルですが
件名 Re: katagoの形勢判断について
投稿日 : 2020/05/20(Wed) 22:14
投稿者 hope366
参照先
>「目差」が何を指しているか不明でどう参考にしていいか困ってまして

単純に、現在どちらがどれだけリードしているか?を数値化したものだと思います。
確定地は分かりやすいですが、問題は未確定の部分です。

これについて参考図を作成したのでご覧くださいsml_sml.gif

黒は両小目から堅実に隅の確定地を確保しています。
一方白は、確定地といえるものはありませんが、2連星はそれだけで十分価値がありますし、右辺寄りの白の一団も厚みとして機能しそうな雰囲気です。
碁を覚えたばかりの初心者であれば、黒が大優勢に見えるかもしれません。なにしろ黒は確定地が40目程度もあるのに白は0ですから。
しかし、強くなってくるとその見方は間違っていることに気づきます。
ZENが示している形勢と目差が、初心者の見方とよく似ています。
目差は黒が35目有利で、黒の確定地はしっかり計算に入れているのに対し、白の2連星の評価は全くのゼロです。
一方のkatagoは左辺や中央に白の領域が多く見られますので、将来性を考慮に入れた上での形勢判断をしていますsml_big.gif

バグなのか仕様なのかは分かりませんが、ZENの目数表示は全く参考にならないですね。

1589980499-s-1.jpg1589980499-s-2.jpg

件名 Re: katagoの形勢判断について
投稿日 : 2020/05/21(Thu) 01:28
投稿者 碁苦労
参照先
hope366様
謎がとけた気がします、めっちゃ感謝です

2連星の評価は盲点でした、、、、
ソフトの棋力と使う人の棋力で変わって来るのも納得です
Eba様の返信も納得です

自分の棋力が低すぎるために野狐形勢や天頂6の目数のほうが感覚があっていたのですねw
プロがプロレベルの天頂7を使うから形勢も参考になると

定石をある程度互角と認識できるかみたいなものですかね
目差=地の思い込みが厚みの評価を完全に忘れていました

25の評価で変わってくるんでしょうね(ヒントに表示されない)、、、
天頂6だと24で黒4.5勝ちがなぜか25で白20.5勝ちになりましたがw
銀星は24で黒3.5勝ちが25で4.5黒勝ちに変化しましたが

ハネれば丸呑みされるところを初級者がやる不要な手入れ、伸びきれていいとこ打てた♪
黒がパス+いいとこ打てた7~目は得というアホ過ぎる自分の形勢判断と
katagoの必要だから一着いれる白も伸びずにシマるでは大差でしょうね、、、、

右辺の白も強い石にへばりついているとしか見えないんですが
突如地が出現したりするパターンですねw

お騒がせしましたありがとうございました♪
TOP > 記事閲覧

- WEB PATIO , Modified by Eba -