お気持ち練習帳

気持ちの整理や数学等の書きたいことを書きます

今年が3ヶ月経ちましたね

2023年になってから3ヶ月経ち、4月になりました。日付を書くときに2022年と書く間違いが減ってきました。今年のはじめに立てた目標を振り返ってみようと思います。

nareo7.hatenablog.com

健康を目指す生活をする

まず3ヶ月で体重が9kg減りました。食事制限だけで運動は一切していないので、結構減っているんじゃないかと思います。以下のいくつかの基本的なルールを設定してダイエットしています。

  • 3食食べる
  • 朝食は100kcal前後、昼食と夕食はそれぞれ600kcal以内
  • 1週間のうち2食分は制限なし
  • 間食はなし、飲み物のカロリーはほぼないものだけ
  • 食事の満足度を高めましょう

この制限できつくなったらルール無視してどか食いもあるので、厳密なルールでは無いくらいのゆるさでやっています。そのうち、このルールだけだと体重が減らなくなる時がくるので、その際はルール変更しないといけないしね。

3ヶ月やってみて気が付いた大事な部分としては、

  • 毎日(体重や自分の食事に対する気持ち等の)モニタリングすること
  • ルールをハックしないこと
  • 上記で明示してない無意識の守らないとまずそうなルールがある

があります。元々頭では分かっていたことですが、実感できたのが大きいと思います。この経験は、(やったことはないけど)仕事でKPIモニタリングするときなどで役立ちそうだなと感じました。

書籍で仕事の勉強をする

1月から(一応)4冊読みました。ただ、4冊以外は全く読んでいないわけではなく10冊近く中途半端に読んだものがあります。仕事で急に知識が必要なときに中途半端に本を読んで、今まで読んだ本を読む時間が取れなくなるのでこうなってます。中途半端で放置すると、内容を忘れていくので避けたいのですが、対策はあまり思い浮かんでないですね。

面白そうな勉強会を見つけて参加する

connpassやTECH PLAYで適当に探して10回くらいでました。多くの勉強会を出るのにあたって、オンライン環境の勉強回が多くて助かりました。特に面白かったのは以下の回です。文章の書き方の本はいくつか知ってましたが、"ドキュメントの"書き方という本は知らなかったので非常に良かったです。とりあえず本は買って積んでいます。

forkwell.connpass.com

いくつかの勉強会出て思ったのは、自分はチームをよくすることに興味があるなと気が付きました。気がつけたことは、勉強会に出て良かった点だと思います。ただ、勉強会に出てもいいと思うものと微妙なものの差が激しく、自分でも理由は分かっていないので、これからも勉強会出たほうがいいのかなと迷っているいます。一旦は、優先度下げて本読みを優先しようと思います。

【読書記録】基礎統計学I 統計学入門

何の本を読んだの？

統計学入門 (基礎統計学Ⅰ)

統計学入門 (基礎統計学Ⅰ)

Amazon

（主観で）和書でいちばん有名な数理統計学であるこの本を読みました。数理統計学の本は何冊か持っていますが、何故かこの本だけ持っていなかったので買いました。読んだと書きましたが、時間もそこまでないので、一行一行行間を埋めることはせずに文章にざっと目を通して、知らない部分だけ読む形で一冊目を通しました。

感想とか

書いてある範囲としては、数理統計学の入門書としてよく書かれているものがきっちり書かれているという印象でした。キーワード的には、以下のことが書いてありました。

  • 統計学の歴史
  • 記述統計学(代表値、相関係数等)
  • 確率の定義や簡単な性質
  • 確率変数(期待値、分散、モーメント等)
  • (1次元の)確率分布(代表的な確率分布)
  • 多次元の確率分布(相関、周辺確率分布、条件付き、独立性など)
  • 大数の法則
  • 中心極限定理
  • 有限母集団修正
  • 点推定
    • 最尤法、モーメント法
    • 推定の基準(不偏性、一致性等)
  • 区間推定(信頼区間)
  • 仮説検定
  • 回帰分析(単回帰、重回帰)

こうやって列挙すると色々書いてますね。これだけで統計検定1級数理の範囲をかなりカバーしているように感じました。数理の資格取るためには、ここから過去問解いたり、一部試験範囲を勉強する必要があると思いますが。

読んでいて知らなかった・忘れていたなと思った部分としては、統計学の歴史的な部分ですね。ジョン・グラントの死亡表の集計とか、フィッシャーが統計的推測のはしりであるとか、コルモゴロフ以前の確率の定義など。偏相関係数や決定係数の意味など。同じような内容を扱った本でも、本ごとに特徴があって知らないことを知れて良かったなと思いました。また、この本を読んで実はこれってどうなんだろうという疑問もいくつか出てきたので、後で他の文献で調べてみたいと思ってます。例えば、なぜ二項分布でなくポアソン分布で現象をモデル化したいのか？nとpがわからないから、ポアソン分布にするの？とか。

最後に、他の数理統計学の本と比べてのこの本の特徴をいくつか述べて終わりにしようかと思います。

第一に、この本は数学書の典型的なフォーマットでは書かれていないこと。ここでいう典型的なフォーマットとは、数学的な主張(定義、補題、命題、定理等)を述べるときは、主張部分を明示的に分かるように段落分け等をして記述することやどこが証明かを記述することです。本書では、色々な統計的対象の性質や定理を紹介していますが、明示的に証明している部分は少ないように感じました。その代わり、どういう気持ちで性質が成り立つのかを文章で説明したり、例で説明を補強するスタイルに見えました。

第二に、測度論にはほぼ立ち入らないこと。これは他の多くの数理統計学の本でも、このようなスタイルだと思います。確率の定義はコルモゴロフの定義を紹介していますが、分布に入ってからは離散と連続に分けてシグマと積分でほぼほぼ説明していました。

 

【読書記録】なぜ、あなたの仕事は終わらないのか

何の本読んだの？

なぜ、あなたの仕事は終わらないのか スピードは最強の武器である

なぜ、あなたの仕事は終わらないのか スピードは最強の武器である

Amazon

kindle unlimitedでレンタルできたので読んでみました。この本はいわゆる仕事の時間管理術の本です。「ラストスパート志向」を辞めて「ロケットスタート志向」になると良いというのが、この本のメインテーマです。

感想とか

タスクに取り掛かるときは、最初一番頑張るというのは確かにそのとおりだと思いました。本でも書いていますが、タスクの最初の時間を使ってタスクに取り掛かり、8割方タスクを終わらせましょうと言ってます。おそらくこれをすることで、そのタスクの不確実性を極端に減らして、後はやればできる状態にさっさと持っていきましょうということをいいたいのかなと思いました。ポイントとしては、タスクに取り掛からずに時間を見積もったり、少ししか取り掛からずに時間を見積もるとダメで、8割方終わらせないとダメだってこと。

本を読んでて疑問だったのは、8割ってどういうふうに測ったときの8割なのかがイマイチわかりませんでした。本文でタスク全体のたたき台を完成させるのが8割と言っているので、細かい部分だったり、少し考えれば分かる部分は割合が極端に低いのかなとは推測しました。

短いけど、本書の内容をあんまりネタバレして書いてまとめたりするのも良くないと思うので、これで。

【読書記録】仕事ではじめる機械学習

読書記録をはじめたい

nareo7.hatenablog.com

今年の抱負で本を読んでお勉強しましょうね～という目標を立てました。そのときに、どうやって知識を定着させようかの問題がありましたが、一旦読書記録をつけることで

  • 読んだ本には何が書いてあったのか
  • 良い点/疑問点などを整理
  • 読んだあとに何をするのが良さそうか

などをまとめられると良さそうだと思いました。ただ、読んだ本全てにきちんとやろうとすると、勉強のモチベ自体が低下するおそれがあるので、程々にやっていこうと思います。また、ブログに全部を載せるかは微妙なので、それも考えつつ記録をつけていこうと思います。

「仕事ではじめる機械学習」とはどんな本だった？

今回読んだのは下記の本です。

amzn.asia

この本は、機械学習を実際の仕事でどう使っていけばいいかという部分に焦点を当てた本となっています。内容としては、機械学習のプロジェクトを進めるのに必要な知識を各論的に1~8章で説明したあと、9~12章でより実践的な話題を扱っています。各章をキーワード的に紹介すると、

  • 1章：機械学習プロジェクトの流れ
  • 2章：機械学習のアルゴリズム紹介
  • 3章：モデルの評価方法
  • 4章：機械学習をシステムに組み込むときに気をつけること
  • 5章：学習データの集め方
  • 6章：MLOps
  • 7章：効果検証、A/Bテスト
  • 8章：モデルの解釈
  • 9章：EDAでのレポーティング
  • 10章：Uplift Modeling
  • 11章：バンディットアルゴリズム
  • 12章：オンライン広告での機械学習の使われ方

という内容になっています。約300ページで広範囲のことを扱っているため、各章の内容としては基本的な内容・まず最初に話すべき内容をまとめてあった印象です。ただ、基本的な内容だけでは満足できない読者向けに、詳細となる参考文献や、〇〇という観点はこの参考文献で紹介されてますなど、次に何を読めば良いのかの誘導がされており、読者への配慮がものすごくあって、読んでいて「助かります！！！」って気持ちになっていました。

感想/疑問点 等

感想等を文章で書こうと思ったけど、細切れの感想が多いので箇条書きで雑多に書いてしまおうと思います。最初の読書記録なのでまあいいでしょうという感じで。

  • 1章：解きたい課題をサーベイしようという点で、具体的にどこの学会論文が参考になるか書いてあるのが助かりました。。。まじでそこら辺の情報全然知らなかったので。。。
  • 2章：ロジスティック回帰はパーセプトロンで書けるというのは、言われると確かにそうだな～と勉強になりました。
  • 5章：教師データの作り方については多少知っている程度だったので、4つの方法をどの観点で考えるべきか整理してて、非常に勉強になりました
  • 6章：前処理を基盤に乗せるとき自動テストは地道に積み重ねるしかないとあったが、まずデータ加工のテストをどう書けば良いのかがそもそもわかってないので、知りたいと思っています。ググり方が悪いのか、いい情報を見つけられていないので。。。
  • 6章：MLOps周りの話はかなり勉強不足だということを実感したので、何かで勉強しておきたいです。
  • 7章：A/Bテストはオフライン検証→オンライン検証の方式がよくあるというのは初めてしれて良かったです
  • 7章：A/Bテストで最小の効果量を踏まえて仮説検定するには、対立仮説を「(Aの効果) > (Bの効果) + (最小の効果量)」とおけば良いというのは、その発想があったかという感じです
  • 7章：A/Aテストが何かをしれてよかったです。ただ、A/Aテスト→A/Bテストをすると多重検定になりそうだし、有意水準補正するのかなと漠然と思いました
  • 7章：A/Bテストの母集団ハックの具体的な事例を知れたのは良かったです。知らないと、普通に引っかかってしまいそうと思いました。
  • 8章：多重共線性で係数が大きくなる理由も知れてよかった。数理的になんでそうなるかは知りたいですが。
  • 8章：回帰係数のp値を求めているところでは、20個以上のp値を一気に出しているので、かなり気をつけて解釈しないといけなそうだなと思いました。
  • 9章：EDAの一連の流れの例を見ることができたのは良かったです。どういう思考でやっているかを知れる機会はあんまりないので...
  • 10章：Uplift Modelingは初めて知りましたが、理解するのに時間がかかった。けど概要をつかめるとA/Bテストの拡張として自然なものだと思えるようになりました。

全体としての感想は、取りこぼしていた概要をきちんと勉強できたので非常に良かったです。また、本自体もさらっと読めるようになっていたので、1,2週間程度で最初から最後まで読むことができたので、本の内容を忘れずに最後まで一気に駆け抜けられた点も非常に助かりました。

今年の抱負的なもの

明けましておめでとうございます。正月だけど、帰省せずに家に引きこもっているなれです。今年の目標を昨年の大晦日に立てたので、どういう目標なのか的なことを書いておこうと思います。自分も忘れてしまうからね。

健康を目指す生活をする

まずはこの目標。これが達成できればあとの2つはまったくできなくても良いくらい大事な目標。2020年くらいから健康診断の結果が悪い状態が続いていましたが、そのときは精神状態を先になんとかしないといけなかったので肉体的な健康を気にする余裕は一切ありませんでした。ただ、去年度から仕事に復帰して体調も崩さずに働けるようになったので、次は肉体的な健康を手に入れようって感じです。また、今年の健康診断の結果がかなり悪く、健康診断直後に電話でかかりつけ医があるならすぐ行ったほうが良いと言われました...。なので、さすがにこのままだとあと10年程度で病気になりそうだな、いやだなあと思ったので、本腰入れて健康を目指そうと思いました。

ただ、元々超長期間の健康的な生活を生まれてこの方ほとんどできたことがないし、在宅勤務になってからはほとんど部屋にこもる生活が続いています。なので、1年くらいだと健康になるかは怪しいし、健康になるためのきちんとした生活を習慣化することは難しいと思っています。そこで今年は一旦目指す生活をしてみようかなと思っています。

現状やろうと思っているのは、食事制限と運動の2本立てですが、過去の自分の事例から食事制限のほうが圧倒的に成功率が高いのでそこからやっていこうと思います。いつもコンビニで買うものをカロリー低いものに置き換える作戦になるのかなと思ってます。

書籍で仕事の勉強をする

社会人になって仕事関連の本をお金をそこまで気にせず買えるようになって、どんどん買った結果、積み本がすごくなったのできちんと読んでいきたいと思ってます。それに、仕事をしていて自分の引き出しが少ないなとか、知っておいたほうが良いことなのに全然知らないなと思うことが増えてきました。なので、今年はきっちりインプットしようと思いました。インプット中心になると思うけど、本の感想とかを書いたりして本の内容の定着をやってみるのも良いかもしれない。

この目標のサブ目標に、統計検定1級応用合格があるのかなと思ってます。過去問以外で応用の勉強どうすればいいかわかってないですが...

面白そうな勉強会を見つけて参加する

最後はこの目標。勉強化に参加したいと思った理由としては、知らないことを勉強しようと思っても何から手を付けていいかわからないことがあるからです。具体的には、機械学習について(詳細な理論や実装はともかく)基本中の基本は知っているけど、最近のトレンドとか分野の歴史とかはほぼ知らない状態です。だけど、どう勉強していくのが良いのかも、自分がどこに興味を持てそうかもわからない状態なので、勉強会に参加してこれからの勉強のためのモチベーションを上げていきたいなと思っています。

統計検定 受験日記

この記事は 統計学 Advent Calendar 2022 の14日目の記事です。

qiita.com

11月に統計検定の1級数理という検定試験を受験しました。 統計検定は、その名の通り統計学に関する検定で数検の統計版みたいな試験です。

www.toukei-kentei.jp

1級は数理と応用の2つに分かれており、両方合格することで1級を名乗れるというものです。 今回は勉強時間があまり取れなかったため、数理だけ受験しました。 ちなみに、合格発表まであと1,2週間なので少し緊張しています。

この記事では、私の背景的な部分から実際の検定受けに行くまで何したか的なことをつらつら書いていこうと思います。

私の背景とか

私は元々大学・大学院で数学を専門にしていました。 ただ、統計から離れた分野で統計は学部の講義で習っただけで殆ど忘れていました。 大学をでたあとは、企業に就職し現在はデータ分析をしています。 就職が決まったあと、入社前になにか勉強しようと思った私は統計検定2級を目標に勉強を始めました。 統計なんも覚えてない状態の私は、書店で色々統計の本を物色して以下の本を見つけました。

www.kyoritsu-pub.co.jp

この本は、数学的な内容をきちんと記述しようとしている一方で、測度論にあまり踏み込まずに統計を書こうとしており、絶妙なバランスの本となっています。 元々数学をやっていた私にとって、数学的な記述が不正確だとそこで詰まるし、測度論に踏み込みすぎても証明読むのに時間がかかるので、とてもいい本でした。 この本を(埋まらない行間はありつつ)読み通しました。 その後は、過去問を一通り解いて2級の試験に望み、合格を勝ち取りました！

その後、就職して2級以上の知識欲しいなと思った私は1級の数理に挑戦することにしました。 たしか2019年の話。 まずは、1級の話でよく挙がっている久保川本を線形回帰の章まで読みました。

www.kyoritsu-pub.co.jp

その後、1級の過去問(8年分くらい)を2周して、足りない知識を復習したり、出そうな問題のポイントをまとめたりしました。 そうして1級に挑んだ私ですが、結果は不合格でした... おそらく統計の定理の証明は追えても、感覚があまりわかっておらず、問題を解いていてもあまり身になっていなかったのが原因かなと思います。

今年の受験日記

今年はコロナもプライベートも落ち着いてきたので、また統計の勉強再開しようと思い1級を再受験することにしました。 勉強自体は5月頃からゆる～くはじめていました。 問題演習を通して感覚を身に着けようと思った私は、久保川本の演習問題を全て解くことに挑戦しました。 ただ、他の勉強をしたり遊んでたりしてあまり時間を確保できず、7割くらい解いたところでギブアップしました。 まあ、過去のツイートを見る限り感覚的なものは身についてきているのでヨシ！

10月からは、過去問の勉強に移行しました。 まずは自分が解いていない2021年の問題を解いたところ、いきなり6,7割程度解けてました。 久保川本の効果や、仕事で勝手に身についた感覚が役立っているんだなあと思い、結構嬉しかったです。 そのあとは、牛歩でしたが過去問を5年分ほど解いて、解説見ながら自分の分からないポイントを勉強し直したりしました。

試験当日は、渋谷で試験を受けました。 統計検定は1級だけ従来のペーパーの試験で、他の試験はCBTに全部移行しました。 会場は、研修とかで使われそうな講義室的な雰囲気で、感染症対策で1人1つの机を使用できたのでかなり気が楽でした。 試験本番は、緊張はしませんでしたが、シャープペンシルで文字を書かないといけなくて、3年ぶりにシャーペンでたくさん文字をかかされる羽目になりました。 人間って、ボールペンで文字を書けても、シャーペンで文字を書けなくなることあるんだってくらい文字をうまく書けず結構困りました。 ゆっくり書けばなんとか書けたのでそうしましたが、その分時間を使ったりして大変でした。 これから試験を受ける方は、本番の時間で解く練習のほかに、本番の筆記用具で解く訓練もしたほうがいいと思います、まじで。

そんなこんなで、試験が終わりました。 試験後は、同じく1級の試験を受けた人たちとオフ会をしました。 全員初めて合う人達でしたが、統計だったり仕事の話だったりをして楽しい時間を過ごせました。 あと、久しぶりに誰かとお酒も飲めたのも良かったです。

今後なにすんの

オフ会で、紹介されてた本が面白そうだったので買いました。

準1級ワークブックは、準1級受けなくても読むのにいい本と言われ買っておきました。 読んでみたら確かに良い本で、これで1級よりも試験範囲が広いと言われている準1級の範囲をさらえるなら読み切りたいという気持ちになりました。 そして、読んでいるうちに、これってついでに準1級受けてもいいのではと思い始めました。 また、オフで1級応用の話を聞いているうちに応用もとりたいなあという気持ちも出てきました。 なので、今後は準1級と1級応用を目指していきたいなあと思います。 数理が落ちてたら、それもリベンジします！

ウェブ最適化ではじめる機械学習の方は、ベイズを使ってA/Bテストしよう！という本です。 この本は読んでいてかなり面白いのですが、統計的な部分でその面白さを感じるのに1級対策で勉強してきたことが間接的に役に立っている気がします。

さいごに

以上が、統計検定の受験日記です。 いつもお仕事していて、ここで身につけた統計の知識をきちんと活かすの難しいなあって結構思います。 仮説検定するだけなら、PythonやRで検定をあまり知らなくてもささっとできますし。 ただ、仮説検定はきちんとやるにはあまりにも罠が多すぎますし、実務でやりたい検定は教科書に載っていなかったりします。 そのため、変な間違いを侵さずに分析するために、統計検定の知識は有効になるのかなと思った次第です。 自分はまだ、統計の感覚的なところがわかっていなかったりするので、身につけるために準1級や1級応用の勉強を頑張りたいなあって感じです。

余談。この記事を書くのに約2時間かかりました。構成考えない推敲もしないこのくらいの文量は1時間くらいでかけるようになりたいなあ。

Lasso回帰とRidge回帰の幾何的説明

はじめに

図1

機械学習のモデルを作成する際に、過学習を防ぐ等の目的で正則化項を損失関数に加えることがあります。 その代表的なモデルとして、Lasso回帰とRidge回帰の2つがあり、それらの違いを説明する図として図1がよく登場します。

初めてこの図を見たとき、「 L _ 1ノルムと L _ 2ノルムを使ってるからひし形と丸が出てきて、たしかにLassoの方がひし形の頂点に当たりやすそうだから係数が 0になりやすいのかな」と思いました。 ふと最近、またこの図を見たときに、「え？Lassoの損失関数最小化と図1って違うこと言ってるよね？なんで同じなの？」とか「ひし形とか丸の大きさってどうやって決めてるの？ハイパーパラメータじゃないよね？」等々の疑問が出てきました。 特に、以下の問題がわかりませんでした。

  • Lasso回帰とRidge回帰の最小解は図1の赤丸の部分となる

考えてすぐにわかったのなら良かったのですが、わかるまでにかなり時間がかかったり、上記の問題の答えがまとまったものを見つけられなかったので、備忘録的な意味も含めて記事を書きました。

Lasso回帰とRidge回帰の幾何的説明

まずは問題設定をきちんと述べるために、記号を準備します。 n, k \geq 1を整数とし、 \boldsymbol{y} \in \mathbb{R} ^ n, X \in M _ {n, k}(\mathbb{R}), \boldsymbol{\beta} = (\beta _ 1, \cdots , \beta _ k) ^ {\top} \in \mathbb{R} ^ kとし、 \lambda > 0, p \geq 1を実数とする。

\begin{aligned} f(\boldsymbol{\beta}) := (\boldsymbol{y} - X \boldsymbol{\beta}) ^ {\top} (\boldsymbol{y} - X \boldsymbol{\beta}) \\ g _ p(\boldsymbol{\beta}) := \sum _ {i=1} ^ {k} | \beta _ {i} | ^ p \\ L _ p(\boldsymbol{\beta}) := f(\boldsymbol{\beta}) + \lambda g _ p(\boldsymbol{\beta}) \\ Q _ p := \mathop{\rm argmin}\limits _ {\boldsymbol{\beta} \in \mathbb{R} ^ k} L _ p(\boldsymbol{\beta}) \end{aligned}

このとき、 Q _ 1を求めるのがLasso回帰で、 Q _ 2を求めるのがRidge回帰にあたります。 \mathop{\rm argmin}の定義に関しては、以下のページを参照ください。

manabitimes.jp

ここで、Lasso回帰とRidge回帰の幾何的説明するための命題を1つ用意する。

命題. Q _ p \neq \emptysetと仮定する。 \boldsymbol{\beta} ^ {*} \in Q _ pに対して、 \eta = g _ p(\boldsymbol{\beta} ^ {*})とおき、 C _ {\eta} = \{ \boldsymbol{\beta} \in \mathbb{R} ^ k \mid g _ p(\boldsymbol{\beta}) \leq \eta \}とおく。 このとき、次が成り立つ。
\begin{aligned} \boldsymbol{\beta} ^ {*} \in \mathop{\rm argmin}\limits _ {\boldsymbol{\beta} \in C _ {\eta}} f(\boldsymbol{\beta}). \end{aligned}

命題1を使用して、図1のLasso回帰の赤丸がLasso回帰の最小解になることを説明をする。 k = 2, p = 1とする。 Lasso回帰に最小解が存在することは仮定し、それを \boldsymbol{\beta} ^ {*} = (\beta_1 ^ {*}, \beta_2 ^ {*})とおく。 命題1より、 (\beta _ 1 ^ {*}, \beta _ 2 ^ {*})は、 g _ 1(\beta _ 1, \beta _ 2) \leq \etaとなるひし形領域内で、 f(\beta _ 1, \beta _ 2)の最小値となる。 さらに g _ 1(\beta _ 1 ^ {*}, \beta _ 2 ^ {*}) = \etaとなるため、 (\beta _ 1 ^ {*}, \beta _ 2 ^ {*})はひし形領域上の境界線上にある。 (\beta _ 1 ^ {*}, \beta _ 2 ^ {*})は、 f(\beta _ 1, \beta _ 2)の最小値なので、 f(\beta _ 1, \beta _ 2)の等高線を値が小さい方から考えて、初めてひし形領域上の境界線上を交わった点(の内の1つ)が (\beta _ 1 ^ {*}, \beta _ 2 ^ {*})である。

命題の証明

g _ p (\boldsymbol{\beta})は連続関数のため、 C _ {\eta}は閉集合となる。 また、 C _ {\eta}は定義より有界なので、 C _ {\eta}はコンパクト集合である。 f(\boldsymbol{\beta})は連続関数のため、 \mathop{\rm argmin} _ {\boldsymbol{\beta} \in C _ {\eta}} f(\boldsymbol{\beta}) \neq \emptysetとなる。

\boldsymbol{\beta} ^ {*} \notin \mathop{\rm argmin} _ {\boldsymbol{\beta} \in C _ {\eta}} f(\boldsymbol{\beta})と仮定する。 そのとき、 f(\hat{\boldsymbol{\beta}}) \lt f(\boldsymbol{\beta} ^ {*})となる \hat{\boldsymbol{\beta}} \in \mathop{\rm argmin} _ {\boldsymbol{\beta} \in C _ {\eta}} f(\boldsymbol{\beta})が存在する。

\begin{aligned} L _ p (\hat{\boldsymbol{\beta}}) &= f(\hat{\boldsymbol{\beta}}) + \lambda g _ p(\hat{\boldsymbol{\beta}}) \\ &< f(\boldsymbol{\beta} ^ {*}) + \lambda \eta \\ &= f(\boldsymbol{\beta} ^ {*}) + \lambda g _ p(\boldsymbol{\beta} ^ {*}) \\ &= L _ p (\boldsymbol{\beta} ^ {*}) \end{aligned}

したがって、 \boldsymbol{\beta} ^ {*} \notin Q _ pとなるため矛盾する。

この命題の証明は、以下ページの議論を参考にして証明した。 stats.stackexchange.com

おわりに

この他にも、LassoやRidgeでわかっていることは調べた感じたくさんありそうでした。 例えば、

  • 命題1の仮定 Q _ p \neq \emptysetは成立する
  • 命題1で定めた \etaは \boldsymbol{\beta}によらず一意に定まる

などなど。 時間があれば、それらの証明も書いていきたいと思います。