ペイズ・ネットワーク、マルコフ・フィールド、およびボルツマン・マシンのようなグラフ・モデルは、確率的モデル生成と推論に豊かな枠組を提供する。グラフ・モデルのグラフ構造は、直観に訴えるモジュール性を備え、事前知識とデータによる学習を組み込む場合に適している。過去数十年間になされた厳密な推論のためのアルゴリズムの発明により、現代AIにおけるグラフ・モデルの人気が急激に上昇した。実世界アプリケーシヨンとしては、文書検索、データ・マ イニング、インテリジェントなユーザ・インタフェース、および診断システムが考期待されいる。ただし、厳密な推論はNP-hardである。実際、このことは、実世界アプリケーションに現れる可能性がある大規模な密接続ネットワークの厳密な計算が困難であるという事実からもうかがえる。

　従って、厳密な計算が困難なグラフ・モデルのための近似法が、実世界計算に極めて重要である。本稿では、厳密な計算が困難なモデルにおける近似的推論のための変分法による枠組を提示する。この方法では、厳密な計算が困難な対象モデルを、より単純でより計算が容易なグラフ構造を持つモデルで近似する。近似モデルと対象モデル間のKullback-Leibler情報量が最小となるように、近似モデルのパラメータを適化する反復アルゴリズムを提示する。我々方法は、近似モデルが完全に因数分解される初歩的な平均界近似と厳密な計算との間に横たわる溝を埋める。

　 我々の方法は、厳密な計算が可能な下部構造を持つ対象モデルの場合に、特に有効であるといえる。厳密な計算が可能な下部構造を持つ対象モデルは、医療診断のような多くの実用的アプリケーションに現れると考えられる。そのような下部構造の人工モデルで行つたシミュレーションによると、これらの構造を利用することで、現実的な計算時間での近似の品質が大幅に向上する。

結論として、我々は、ユーザの計算資源に応じて、単純な近似モデルでも複雑な近似モデルでも機能する、汎用的で実用的なアプローチを提示する。