以前、適応的実験計画法を用いて新材料を開発することについて述べた。適応的実験計画法とは、実験データを元にしてモデルを作成し、そのモデルに基づいて次の実験条件を提案し、また実験してモデルを更新していくことで効率的に開発を行う手法である。下で記載した段階ではよく理解できていなかったが、適応的実験計画法においてベイズ最適化が重要な役割を果たしている。今回はこのベイズ最適化について調べてみた。
ベイズ最適化とは、中身がよくわからない関数を用いて結果を最適化する代表的な手法で、その名のごとくベイズ統計を利用している。ベイズ最適化が威力を発揮するのはデータ取得にコストがかかるような事例であり、実際に実験をする必要がある実験というのは正にこれに相当する。先に述べた適応的実験計画法において、実験して実験結果を説明するようなモデルを作成し、このモデルを用いてベイズ最適化によって次の実験条件を設定することになる。
ベイズ最適化と言ってもその内容はかなり深く多岐に亘る。以下はその中の獲得関数について記載する。獲得関数とは、ベイズ最適化において次の実験候補を選定するときの選定基準となる関数である。
これまでの結果に基づいて新しい条件を探索するときには、大きく2つの考え方がある。1つは既存データ近傍でもっと優れた条件を探索する考え方と、もう1つは既存データから外れたところで大きく性能が上がる条件を探索する考え方で、堅実路線とギャンブル路線という感じだ。前者を活用、後者を探索という表現で表したりする。
具体的な獲得関数としてよく用いられるものに、UCB、PI、EIが挙げられる。具体的な数式等については下のサイトに記載されている。UCB(Upper Confidence Bounds)は平均と信頼区間(標準偏差)を用いたもので、平均は活用を、信頼区間は探索を意味し、そのバランスを取ったような関数で、PI(Probability of Improvement)は改善確率、EI(Expected Improvement)は改善幅の期待値をそれぞれ計算するような関数となっている。
これらの関数を比較したような事例も探せば挙げられていて、何となくEIの成績が相対的には高いように感じられる。EIはPIの進化系のような表現をしているサイトもあった。また、これら以外にも獲得関数としては多くがあるようで、個人的にはもう少し勉強してみる必要を感じている。
#ベイズ最適化 #獲得関数
コメント