IPOPT 求解器文档
IPOPT (Interior Point OPTimizer) 是开源的大规模非线性规划(NLP)求解器，使用内点法（原-对偶内点算法）求解连续非线性优化问题。IPOPT 适用于求解具有非线性目标和约束的连续优化问题，广泛应用于工程、经济、运筹学等领域。
IPOPT（Interior Point OPTimizer）是一个用于大规模非线性规划（NLP）的开源求解器软件包。它实现了原-对偶内点算法（Primal-Dual Interior Point Method），并结合滤线搜索（Filter Line-Search）技术以保证全局收敛性。IPOPT 专门设计用于求解连续非线性优化问题，能够处理具有非线性目标和约束的大规模稀疏问题。
IPOPT 的主要特点包括：
- 原-对偶内点算法：采用障碍函数方法，通过在每次迭代中求解KKT条件的牛顿系统，逐步逼近最优解。算法在保持原可行性和对偶可行性的同时，将障碍参数μ逐步降至零。
- 滤线搜索技术：采用滤子方法代替传统的惩罚函数方法来保证全局收敛性。滤方法通过平衡目标函数下降和约束违反度下降两个目标，避免了惩罚因子的选择困难。
- 大规模稀疏处理能力：充分利用问题的稀疏结构，采用稀疏线性代数技术高效求解牛顿系统，能够处理具有数百万变量和约束的超大规模问题。
- 支持等式和不等式约束：通过引入松弛变量将不等式约束转化为等式约束后统一处理，支持一般的非线性约束形式。
- 变量边界约束：直接处理变量的上下界约束，通过内点算法的障碍项确保迭代点严格满足边界条件。
- 二阶校正技术：在必要时采用二阶校正步骤改善不可行子问题的求解质量，提高算法的鲁棒性。
- 开源免费：由 COIN-OR（Computational Infrastructure for Operations Research）基金会维护和开发，采用 Eclipse Public License (EPL) 开源许可证。
IPOPT 广泛应用于化工过程优化、电力系统调度、工程结构设计、经济学模型求解、交通运输规划等众多领域。自2000年代初发布以来，IPOPT 已成为学术研究和工业应用中最广泛使用的开源 NLP 求解器之一。
在 GAMS 中，IPOPT 作为 NLP 求解器集成使用，支持求解 NLP（非线性规划）、DNLP（带非连续导数的非线性规划）和 RMINLP（松弛混合整数非线性规划）模型类型。IPOPT 能够处理 GAMS 中的稀疏雅可比和海森矩阵结构，充分发挥其在大型稀疏问题上的性能优势。
IPOPT 在每次迭代中需要求解一个大型稀疏线性方程组（KKT系统的牛顿方程）。该线性系统的求解效率直接决定了 IPOPT 的整体求解性能。IPOPT 支持多种第三方线性求解器选项，以适应不同的问题特征和计算环境：
- MA27（默认）：来自 HSL 数学软件库的稀疏对称不定矩阵求解器。采用多波前法（Multifrontal Method），适用于中小规模问题。MA27 是 HSL 的旧款求解器，具有较好的数值稳定性，但在非常大规模问题上可能存在内存和时间瓶颈。
- MA57：HSL 库中 MA27 的继任者，同样采用多波前法。相比 MA27，MA57 在内存管理和执行效率上均有显著改进，支持更多的分解选项和更丰富的诊断信息，适合处理更大规模的问题。
- MA77：HSL 的多波前法求解器的进一步演进版本，针对现代计算机架构进行了优化。支持多线程并行计算，适合在共享内存多核系统上运行。
- MA86：HSL 的并行多波前法求解器，采用任务并行（Task-based Parallelism）模型，能够在多核和众核系统上高效运行。适用于需要利用并行计算加速的大规模非线性规划问题。
- MA97：HSL 最新的多波前法求解器之一，结合了 MA57 的稳健性和现代并行算法的效率。支持直接法和迭代精化，具有良好的数值性能和可扩展性。
- PARDISO：高性能稀疏直接求解器，支持共享内存并行计算。PARDISO 在处理大规模稀疏线性系统时表现优异，特别适合在具有多核处理器的计算环境中使用。商用版本由 Intel 数学核心库（MKL）提供支持。
- WSMP（Watson Sparse Matrix Package）：IBM Watson 研究中心开发的稀疏矩阵求解器包（需要单独授权）。采用多波前法，支持并行计算，适用于大规模问题。
- MUMPS：MUltifrontal Massively Parallel Solver，支持分布式内存并行计算的稀疏直接求解器。能够在集群和分布式计算环境中运行，适合超大规模问题的求解。
- SPRAL：新一代并行稀疏求解器，支持 CPU 和 GPU（通过 CUDA）加速计算。SPRAL 集成了直接法和迭代法两种模式，能够自动选择最优策略。适用于需要在异构计算平台上运行的场景。
选择合适的线性求解器对 IPOPT 的求解性能至关重要。通常，对于中小规模问题，默认的 MA27 即可满足要求；对于大规模问题，建议选择 MA57 或 PARDISO；对于需要并行计算的环境，优先考虑 MA86、MA97、MUMPS 或 SPRAL。线性求解器的选择可通过 IPOPT 的 linear_solver 选项指定。
注意：MA27 和 MA57 属于 HSL 库的旧版本，在最新 GAMS 发行版中可能不再包含。实际可用的线性求解器取决于 GAMS 安装时所包含的 HSL 组件以及第三方求解器的许可情况。
IPOPT 的线性代数模块负责管理和计算求解过程中所需的各类矩阵和向量操作，主要包括：
- 稀疏矩阵存储：IPOPT 采用压缩稀疏列（CSC，Compressed Sparse Column）格式存储雅可比矩阵和海森矩阵。CSC 格式通过三个数组（值数组、行索引数组、列指针数组）高效地表示稀疏矩阵，仅存储非零元素及其位置信息，大幅减少内存消耗。
- 雅可比矩阵计算：约束函数的雅可比矩阵由 GAMS 的自动微分（Automatic Differentiation）引擎提供。GAMS 会在模型实例化时自动计算约束函数对决策变量的一阶偏导数，并以稀疏格式传递给 IPOPT。这种自动微分方式避免了手动求导的繁琐和错误可能。
- 海森矩阵计算：拉格朗日函数的海森矩阵（Hessian of the Lagrangian）是 IPOPT 算法中 KKT 系统的核心组成部分。IPOPT 可以使用精确海森矩阵（通过 GAMS 的自动微分获得二阶导数）或者采用有限内存 BFGS（L-BFGS）拟牛顿近似。默认情况下，IPOPT 使用精确海森矩阵以获得更好的收敛性能。
- 海森矩阵近似：当问题的二阶导数计算代价过高或不可用时，IPOPT 可以选择使用 L-BFGS 方法对海森矩阵进行拟牛顿近似。L-BFGS 仅需存储最近若干次迭代的梯度差信息即可构建近似的海森矩阵，大幅降低计算和存储开销。通过设置 hessian_approximation 选项可以在精确海森和 L-BFGS 之间切换。
- 线性系统求解：IPOPT 的核心计算任务是求解 KKT 系统的牛顿方程。该线性系统的形式为 H·Δx = -g（其中 H 为海森矩阵或近似，g 为梯度），在存在约束时扩展为包含拉格朗日乘子的增广系统。通过前述的稀疏直接求解器进行分解和回代求解。
- 尺度化（Scaling）：IPOPT 支持对变量、约束和目标函数进行自动尺度化处理，以改善求解器的数值稳定性。当问题中各变量的量级差异较大时，良好的尺度化可以显著提升求解效率和收敛性能。通过 NLP 接口提供问题的尺度化信息。
线性代数模块的效率是 IPOPT 求解性能的关键。对于大型稀疏问题，矩阵分解（Factorization）通常占据每次迭代的大部分计算时间。合理选择线性求解器和利用问题的稀疏结构可以显著降低求解时间。
在 GAMS 中使用 IPOPT 求解器有多种方式。最直接的方法是在模型语句中通过 OPTION 语句指定：
OPTION NLP = IPOPT;
MODEL mymodel /all/;
SOLVE mymodel USING NLP MINIMIZING cost;
也可以使用 GAMS 的求解器属性设置方法：
MODEL mymodel /all/;
mymodel.solver = "IPOPT";
SOLVE mymodel USING NLP MINIMIZING cost;
IPOPT 支持以下 GAMS 模型类型：
- NLP（非线性规划）：目标函数和/或约束中存在非线性表达式的连续优化问题。
- DNLP（带非连续导数的非线性规划）：目标函数或约束的导数不连续的非线性规划问题。使用前需注意算法假设的适用性。
- RMINLP（松弛混合整数非线性规划）：将混合整数非线性规划（MINLP）中整数变量的整数约束松弛后得到的 NLP 问题。
通过选项文件设置求解参数：
OPTION NLP = IPOPT;
mymodel.optfile = 1;
* 在 ipopt.opt 文件中可设置以下选项：
* linear_solver ma57
* tol 1e-7
* max_iter 5000
* print_level 5
用户可将 IPOPT 选项写入名为 ipopt.opt 的文件中，并将其放置在 GAMS 的工作目录下。当 GAMS 检测到该文件时，会自动读取并应用其中的选项设置。选项文件的每一行包含一个选项名及其取值，以空格分隔。
IPOPT 在求解过程中会向 GAMS 日志文件输出详细的迭代信息，帮助用户监控求解进度和分析求解性能。输出信息的详细程度由 print_level 选项控制（取值范围 0~12，默认 5）：
- print_level = 0：无输出（静默模式）。
- print_level = 2：仅输出最终求解结果摘要。
- print_level = 5（默认）：输出每次迭代的主要信息，包括迭代次数、目标函数值、约束违反度、障碍参数、步长等。
- print_level = 6~12：输出更详细的诊断信息，包括算法内部参数、线性系统求解细节等，主要用于调试和性能分析。
迭代输出日志的典型列包括：
- iter：迭代次数
- objective：当前目标函数值
- inf_pr：原约束违反度（Scaled primal infeasibility）
- inf_du：对偶约束违反度（Scaled dual infeasibility）
- lg(mu)：障碍参数的对数值（log10(μ)）
- ||d||：牛顿步长的欧几里得范数
- lg(rg)：正则化参数的对数值
- alpha_du：对偶变量的步长
- alpha_pr：原变量的步长
- ls：线搜索中的回溯次数
求解完成后，IPOPT 会输出求解状态和最终统计信息，包括：最优目标函数值、最终约束违反度、总迭代次数、求解时间（CPU 时间）、所用线性求解器信息等。IPOPT 返回的求解状态会映射为 GAMS 的模型求解状态（Model Status）和求解器状态（Solver Status）供用户程序判断和处理。
常见返回状态包括：
- Solve_Succeeded：求解成功，找到了局部最优解或全局最优解。
- Solved_To_Acceptable_Level：求解至可接受的最优性水平（未达到严格收敛容差但满足可接受标准）。
- Infeasible_Problem_Detected：检测到问题不可行。
- Diverging_Iterates：迭代发散，目标函数值或变量取值趋于无穷。
- Maximum_Iterations_Exceeded：达到最大迭代次数限制。
- Restoration_Failed：恢复阶段无法找到可行点。
- Error_In_Step_Computation：计算步长时出现错误（通常与线性求解器相关）。
- User_Requested_Stop：用户通过回调函数请求终止求解。
IPOPT 提供了丰富的选项来控制求解过程的各个方面。下表列出常用选项及其默认值：
| 选项名 |
默认值 |
说明 |
| tol |
1e-8 |
最优性容差（收敛容忍度），决定求解的精度水平 |
| max_iter |
3000 |
最大迭代次数限制 |
| acceptable_tol |
1e-6 |
可接受的最优性容差 |
| acceptable_iter |
15 |
达到可接受容差所需的连续迭代次数 |
| mu_init |
0.1 |
障碍参数 μ 的初始值 |
| mu_target |
1e-16 |
障碍参数 μ 的目标值（算法停止时达到的 μ 水平） |
| mu_strategy |
monotone |
障碍参数更新策略：monotone（单调递减）或 adaptive（自适应调整） |
| print_level |
5 |
输出详细程度（0~12） |
| linear_solver |
ma27 |
指定使用的线性求解器：ma27, ma57, ma77, ma86, ma97, pardiso, wsmp, mumps, spral 等 |
| hessian_approximation |
exact |
海森矩阵计算方式：exact（精确海森）或 limited-memory（L-BFGS 拟牛顿近似） |
| limited_memory_max_history |
6 |
L-BFGS 存储的历史梯度信息数目（仅当 hessian_approximation=limited-memory 时有效） |
| max_cpu_time |
1e20 |
最大 CPU 时间限制（秒） |
| nlp_scaling_method |
gradient-based |
NLP 问题的尺度化方法：gradient-based（基于梯度）、none（无尺度化）、equilibration（均衡化方法） |
| bound_push |
0.01 |
变量边界调整幅度（将边界向内推以保证内点可行性） |
| bound_frac |
0.01 |
边界比例因子 |
| constr_viol_tol |
1e-4 |
约束违反度容忍度 |
| dual_inf_tol |
1e-4 |
对偶不可行度容忍度 |
| compl_inf_tol |
1e-4 |
互补条件违反容忍度 |
| warm_start_init_point |
no |
是否启用热启动模式：yes（使用前次求解结果作为初始点）或 no |
| file_print_level |
5 |
输出到选项文件中指定的输出文件的详细程度 |
| output_file |
- |
将求解日志输出到指定文件名 |
更多选项的完整列表和详细说明，请参考 IPOPT 官方文档（https://coin-or.github.io/Ipopt/）。
本节对几个关键的 IPOPT 选项进行详细说明，以帮助用户根据具体问题调优求解参数。
tol（最优性容差）
控制 IPOPT 判断最优解收敛的精度标准。当 KKT 条件的原约束违反度、对偶约束违反度和互补条件违反度均小于 tol 时，算法判定收敛并返回最优解。较小的 tol 值（如 1e-10）可获得更高精度的解，但可能需要更多迭代次数。对于大多数实际应用，默认值 1e-8 已足够。对于对精度要求不高的问题，可适当放宽至 1e-6 以加速求解。
max_iter（最大迭代次数）
限制 IPOPT 的最大迭代次数。当一个大规模或病态问题收敛缓慢时，此选项可防止求解器陷入无限循环。如果求解在达到最大迭代次数后终止且尚未收敛，可检查迭代日志、适当放宽 tol 或增加 max_iter 值后重新求解。
acceptable_tol 与 acceptable_iter
这两个选项配合使用，定义了 IPOPT 的"可接受停止准则"。当原约束违反度、对偶约束违反度和互补条件违反度均小于 acceptable_tol 且持续 acceptable_iter 次迭代后，IPOPT 会停止求解并返回 Solved_To_Acceptable_Level 状态。这对于追求稳健性而非极致精度的应用场景非常有用。默认情况下，acceptable_tol 为 1e-6，acceptable_iter 为 15。
mu_strategy（障碍参数策略）
控制障碍参数 μ 的更新方式：
- monotone（默认）：μ 单调递减，按照固定规则在每次迭代后减小。这种方式收敛路径较为稳定，适合大多数问题。
- adaptive：μ 根据问题的局部收敛状态自适应调整。在收敛快的阶段快速减小 μ，在困难阶段暂缓减小。自适应策略通常能加快收敛速度，但在某些问题上可能导致收敛不稳定。
对于非凸问题或数值困难的优化问题，建议先尝试 monotone 策略；对于凸问题或希望加速求解的情况，可尝试 adaptive 策略。
linear_solver（线性求解器选择）
选择用于求解 KKT 系统牛顿方程的线性求解器。不同线性求解器在不同类型问题上表现各异：
- MA27（默认）：可靠但较慢，适合中小规模问题。
- MA57：MA27 的升级版，推荐用于大多数问题。
- PARDISO：多核并行求解，适合大规模问题。如果系统安装了 Intel MKL，可获得最佳性能。
- MUMPS：支持分布式并行，适合超大规模问题。
- MA86 / MA97：HSL 新一代并行求解器，适合现代多核系统。
如果求解过程中出现"Error in step computation"或线性求解器相关的错误，可尝试更换不同的线性求解器。
hessian_approximation（海森矩阵近似方式）
控制拉格朗日函数海森矩阵的计算方式：
- exact（默认）：使用 GAMS 自动微分引擎提供精确的二阶导数信息。精确海森矩阵通常带来更好的收敛速度和更少的迭代次数，但每次迭代中计算二阶导数的代价较高。
- limited-memory：使用 L-BFGS 拟牛顿方法近似海森矩阵。仅需存储梯度的历史信息，无需计算二阶导数。对于大规模问题或二阶导数计算代价过高的场景，L-BFGS 是一种有效的替代方案。通过 limited_memory_max_history 选项控制存储的历史梯度信息数量（默认 6）。
当问题的目标函数或约束中海森矩阵（二阶导数）的计算特别耗时时，建议使用 limited-memory 选项；一般情况下精确海森矩阵能获得更可靠的收敛结果。
nlp_scaling_method（NLP 尺度化方法）
IPOPT 对 NLP 问题中的变量、目标函数和约束进行尺度化可以改善问题的数值条件数，提高收敛稳健性：
- gradient-based（默认）：基于梯度的尺度化方法，利用梯度信息确定各变量和约束的尺度因子。
- equilibration：使用均衡法（Equilibration）进行尺度化，通过平衡雅可比矩阵的行和列范数来改善问题条件数。
- none：不进行尺度化。如果用户的问题已经预先做好尺度化处理，可选择此选项以节约尺度化计算开销。
warm_start_init_point（热启动）
热启动功能允许 IPOPT 利用先前求解的结果（保存的迭代点信息）作为新求解过程的初始点。这在以下场景特别有用：
- 对同一模型修改参数后重新求解
- 在参数化分析中连续求解一系列相近的问题
- 求解器因达到最大迭代次数终止后，使用热启动继续求解
启用热启动需要将 warm_start_init_point 设置为 yes，并在 IPOPT 中提供先前求解的最终变量值、对偶变量值和障碍参数等信息。正确使用热启动可以显著减少达到收敛所需的迭代次数。
在线留言
尊敬的客户朋友，如您有任何意见建议，请通过下表反馈给我们，我们会尽快与您联系。
|
400-621-1085
