何の本読んだの？
機械学習モデルを評価する際の指標についてあれこれ書いてある本。特に、ビジネス的に"良い"モデルかを判定する指標ってなんだ？という疑問について色々書かれています。Twitterで見かけて発売前から目をつけていました。2月中に読みたいなと思っていたら、優先順位が高い本が生えてきたりして読み終わるのに1ヶ月半も経ってしまった。
感想とか
全体的な感想としては、新入社員に一番刺さりそうだなと思いました。とくに研修から実務への接続時に、モデルをビジネス上活かすにはどう考えるのかを学ぶときにこの本が側にあると心強いのかな～と思います。
以下、雑多な感想
- 1章で目的変数→評価指標→KPIのそれぞれの関係を説明してくれているのが良かった。これが書籍の形でまとまって説明されているの初めて見た
- 代理目的変数は、あくまで代理なのでそこに過剰にfitさせるのは良くないよねというのはすごい共感した。ABテストの本読んでいるときにも同様の考え方が出てきてたので、大事だし常に意識していないと忘れちゃうことなんだなと感じた。まあ、人間数値目標があったらそれに向かって走って、ハックしてってやってしまうしね(クソデカ主語)。
- 達成したい目標を評価指標で陽に表現できないとき、どうやるのかの具体例ほしいなと思った。なので、載っている参考資料は後で買いたい...
- 多クラス分類のROCは定義をきちんと知ったの初めてだった。最初定義があまりにもわからなくて、そこだけサンプルコードきちんと追って動かした。
- 付録の最後で、1つのKPIの期待値を最大化すればよいわけではないと言っているのが良い。1つのKPIでどうにかするのは無理だよ～リスク管理のKPI持ちましょうね～って感じでだよね～って思った
