$ min_C \ sum_i \ phi（c_i）$ st $ \ sum_i c_i = 1 $と$ c_i \ geq 0 $ここで$ i = 1 \ cdots k $と$ C = [c_i] $です。
ここで$ \ phi（x）$は凹関数です。例えば、$ \ phi（x）= 2x - x^2 $である。最適化凹関数
有効な初期点があれば、解は$ [0 \ 0 \ 0 \ cdots 1] $であることがわかります。誰も私にこのソリューションを達成するために勾配降下ベースのアルゴリズムを導くことができます。
私はHastie、Tibshiraniの本「統計学習の要素」をチェックします。それは無料です！これは、最大エントロピーニューラルネットと非常によく似ています。制約条件は対数線形モデルの制約条件に類似しており、解析ソリューションにラグランジュ乗数を使用することを示唆しています。しかし、ソフトマックス（ロジスティック）よりももっと一般的な活性化機能にも興味があるようです。スプラインベースのアクティベーション関数を推定するプロジェクト追跡回帰を参照できます。
これは凹形関数であり、最小化したい（最大化しない）必要があります。まず第一に、あなたは地元のミミナに落ちる可能性があります。あなたは凹面の機能を模倣しています。とにかく、アプローチの1つはスペクトル勾配投影（SPG）を使用することです。どうして？実行可能な集合（つまり、c_i> = 0 \ sum c_i = 1）があり、実行可能な状態（つまり集合の内部）にある実行可能な集合にグラジエントのステップを投影する必要があるからです。あなたがRに精通しているなら、あなたのためにそれをする素敵なパッケージがあります。 SPGの場合、コスト関数の勾配と、あなたの実現可能な集合に写像する投影関数を提供する必要があります。あなたの場合、コンピューティングの勾配は簡単でなければなりません。
http://www.athenasc.com/nonlinbook.html
をし、シンプレックス上の突起を探して（これは実現可能なセットが呼ばれているものである）
ます。http：投影アルゴリズム（特にあなたの実現可能なセット用）チェックアウトを作成する方法を見つけるために/ /math.stackexchange.comがこれに適しているようです。 – mtrw