一、无约束拟可微优化的信赖域方法的全局收敛性（论文文献综述）
王锐[1]（2021）在《稀疏逻辑回归二阶方法研究》文中研究指明逻辑回归是一类非线性回归模型,作为一种重要有效的分类工具,在机器学习、数据挖掘、模式识别、医学和统计等领域都有着广泛的应用.近些年来,由于实际问题产生的数据规模不断扩大,但仅有部分特征起到作用,这导致大规模稀疏逻辑回归问题的产生.同时数据规模大、数据的不确定性、约束复杂等原因给计算带来了不小的挑战,因此发展设计快速有效的算法来解决稀疏逻辑回归问题是非常有必要的.本文基于最近几年对统计学中的变量选择理论和稀疏优化方法的研究,建立了稀疏逻辑回归问题的各种优化模型,并设计求解这些模型的二阶优化算法,使之具有全局收敛性、稳定性、快速性.首先,针对稀疏逻辑回归问题,本文在理论方面（见第2.1,3.1节）分别对模型中目标函数和稀疏约束进行了分析,进而建立了最优性条件,借助于在稀疏集上的投影,切锥和法锥定义了四种稳定点,并详细分析了这些稳定点与局部以及全局最优解之间的关系,同时对模型解的存在性和唯一性给出了分析.其次,针对稀疏逻辑回归问题,本文在算法方面（见第2.2,3.2节）提出了两个牛顿类型的算法.第一个是贪婪投影梯度牛顿算法,该算法是投影梯度方法和牛顿方法的结合.第二个方法是完全通过牛顿法有效求解一个稳定点方程组.本文也分析了这两种方法的收敛性（见第2.3,3.3节）,均具有最优支撑集的有限识别性和局部二次收敛性.大量数值实验结果显示（见第2.4,3.4节）,这两种方法与众多先进的求解器相比,具有更高的精度和更快的计算速度.最后,针对组稀疏多元逻辑回归问题,本文（见第4章）不仅在理论上通过定义的稳定点与局部以及全局最优解的关系建立了其最优性条件,而且在算法方面提出了子空间信赖域算法来求解该模型.该算法具有出色的收敛性,包括全局收敛性和局部二次收敛性.数值实验结果清楚地证明了该算法在逻辑损失值、稀疏性恢复和计算时间方面的优越性能,尤其对一些维数较大的图片数据能够快速有效分类.
胡红红[2]（2021）在《改进的非单调信赖域算法研究》文中指出最优化问题大量存在于信息工程、社会经济等各种领域.信赖域方法是优化算法中的一种重要方法,而且具有更易于建立收敛性和鲁棒性等优点.本文主要研究求解一般无约束优化问题、非线性方程组及其非线性最小二乘问题的改进的信赖域方法.在第一章中,首先介绍问题的背景和意义,以及信赖域算法在优化算法中的地位及其基本思想;其次对信赖域算法在国内外的研究进展进行介绍,包括研究问题介绍、信赖域方法的产生与发展、信赖域子问题的求解以及半径更新、信赖域算法与其他技巧的结合等方面;最后给出了本文研究内容的结构.第二章为相关知识基础.首先介绍了求解无约束优化问题的几种常用方法,包括线搜索型方法中的共轭梯度法、拟牛顿法、梯度法;接着分别给出了求解无约束优化问题和非线性方程组的一般信赖域算法的基本结构,最后对算法的收敛性和收敛速度等定义进行了介绍.对无约束优化问题,在第三章中提出一种自适应非单调信赖域算法.首先对信赖域子问题的半径更新引入了自适应技术,同时为了减少传统算法在出现锯齿现象时可能会减慢算法收敛速度的情况,在信赖域调整比上引入了非单调技术.此外,结合了非单调Armijo型线搜索策略以免当试探步失败时需要重新求解子问题.在一般假设条件下,证明了该算法具有全局收敛性和超线性收敛速度,数值实验也表明了该算法是可行且有效的.第四章中对于非线性方程组问题,给出了改进的非单调信赖域算法.算法不仅利用当前为止最大函数值和当前函数值的凸组合构造了非单调项,而且为了避免当试探步不成功时需重新求解信赖域子问题,结合了线搜索策略进行求解,从而降低了算法所需的计算量,提高了收敛速度.接着在一定条件下证明了算法的全局收敛性质以及近似三阶收敛速度.最后经过初步的数值实验表明了算法是可行的.全文最后进行总结,并对将来进一步的研究方向做了展望.
覃嘉[3]（2020）在《求解两类问题的最小二乘三项共轭梯度法》文中指出数学优化是运筹学与控制论学科一个非常重要的分支,其核心内容是研究最优化理论及数值算法.在过去半个多世纪,数学优化已经被广泛应用于工业设计、交通运输、军事国防、经济规划等实际领域.近年来,随着大数据、人工智能、机器学习等领域的兴起,数学优化日益发挥其重要作用.共轭梯度法是数学优化的一类重要数值方法,其算法结构简单、存储量小、收敛性好,尤其适合于求解大规模优化问题.传统的共轭梯度法侧重于求解光滑的无约束优化问题,该方面的研究已经取得了丰富的成果.本学位论文主要研究求解大规模非线性方程组和非光滑优化问题的最小二乘三项共轭梯度法.首先,基于最小二乘逼近技术,提出求解大规模非线性方程组的新型三项共轭梯度法.该方法利用最小二乘技术构建了一个新型搜索方向,旨在充分结合现有三项共轭梯度法的优点,提升计算效率.在不依赖于任何线搜索的条件下,算法产生的方向具有充分下降性.在适当的假设下,证明了算法的全局收敛性及线性收敛速度.初步的数值试验表明,该方法对于求解大规模非线性方程组是稳定、有效的.其次,针对非光滑无约束凸优化问题,提出了两个基于最小二乘的三项共轭梯度法.利用Moreau-Yosida正则化技术,将非光滑凸优化问题转化为一个光滑问题.再利用光滑问题的近似梯度及最小二乘逼近思想,构造新型三项共轭梯度方向,使其在不依赖于线搜索的情况下具有充分下降性.通过两种不同的线搜索产生步长,从而得到两个相应的算法.在适当的条件下,两个算法均具备全局收敛性.初步的数值试验亦显示了算法的有效性.最后,对论文进行总结与展望,指出今后可进一步研究的工作.
李曼玉[4]（2019）在《非光滑问题的信赖域方法研究》文中认为非光滑优化在医学、经济学、工程设计、最优控制等领域有着广泛的应用。目前提出的非光滑优化方法大多要求目标函数是凸的,而在实际应用中遇到的问题往往是非凸非光滑的。信赖域方法比线搜索更容易得到全局收敛性,并且能很好地解决非凸、病态问题,且信赖域方法结合非单调技术、自适应技术等在应用中有着良好的数值表现。因此,本文主要研究仅要求目标函数是局部Lipschitz的无约束非光滑优化问题,将求解光滑优化问题的信赖域方法推广到求解非光滑优化问题。本文的主要研究工作如下:1、提出了一种基于拟割向量的非光滑信赖域方法,基于拟割向量建立了新的信赖域子问题,利用修正的BFGS公式进行信赖域子问题的更新,数值试验表明算法是有效的。2、提出了一种基于拟割向量的非单调信赖域方法,并在一定条件下证明了算法的全局收敛性,数值结果表明,该算法在一定程度上可以克服Marotos效应。3、提出了一种基于拟割向量的自适应信赖域方法,在算法中与线搜索结合产生新的迭代点。在适当的假设条件下,证明了该算法的全局收敛性,最后通过数值实验验证了算法的有效性。
柳颜[5]（2019）在《基于增广Lagrangian的不等式约束优化问题的信赖域方法研究》文中研究指明约束优化问题在金融、网络与运输、数字集成设计、图像处理等诸多领域应用十分广泛,具有重要的理论研究意义和实用价值.针对不等式约束优化问题,本文提出了一个基于指数型增广Lagrange函数的信赖域方法.所做的主要工作概述如下:1.针对传统的增广Lagrange方法在迭代第二步中精确求解该子问题时存在计算量大的问题,本文提出了一个基于指数型增广Lagrange函数的信赖域方法,并设计了一个不同于传统罚因子的更新策略.在传统的增广Lagrange方法中,每步迭代一般需要精确极小化相应的增广Lagrange函数,然而精确求解这样的子问题所带来的计算量是很大的,并且当原始问题的非线性程度较高时,相应的子问题也不易求解.因此,本文将极小化该子问题转化为极小化增广Lagrange函数的二次近似,并结合信赖域技巧,以保证近似的合理性.同时,由于罚因子对于减少约束违反度和求解信赖域子问题有很大的影响,本文考虑预测下降量与约束违反度以及信赖域半径之间的关系,设计了一个新的罚因子更新策略.并建立了一个详尽的基于指数型增广Lagrange函数的信赖域算法.2.不同于传统的增广Lagrange算法具有的局部收敛性结果,本文证明了提出的基于增广Lagrange函数的信赖域算法具有全局收敛性.即在目标函数和约束函数均是二阶连续可微,算法产生的迭代点列一致有界以及其他假设条件下,证明了算法产生的迭代点列是可行的,并且迭代点列全局收敛到原不等式约束优化问题的KKT点.3.根据提出的算法对若干不等式约束优化问题的经典算例进行数值实验,并与传统的增广Lagrange算法以及已有文献的一个相关算法的数值结果进行比较,数值结果表明本文提出的方法是可行且有效的.
薛艳勤[6]（2019）在《基于非单调信赖域算法的研究》文中指出现实生活中,许多出现在科学、工程、管理、经济和运营研究中的问题都可以转化为无约束优化问题,信赖域算法是求解这类问题的重要方法之一.近年来,随着非单调技术被广泛应用于搜索算法中,最优化领域的非单调信赖域方法引起了极大的关注.非单调技术的恰当使用不仅能有效提升算法的收敛速率,而且可以促使信赖域方法更容易找到全局最优解.尽管目前提出的非单调自适应信赖域算法同传统的信赖域算法相比较已经有了较大的进步,但在处理无约束优化问题时仍然需要克服计算量大、迭代次数多、运行速度慢等困难.有鉴于此,本文针对大规模无约束优化问题,将信赖域半径的自适应更新策略和BB算法思想分别与非单调技术进行有效的结合,利用信赖域模型提出两种改进的非单调信赖域算法.在必要的假设下,建立了新算法的全局收敛性和超线性收敛速度,数值实验展示其具有相对较强的竞争优势.主要工作如下:首先,提出一种改进的非单调信赖域算法.新算法通过一个向量内积获得矩阵不正定的信息后,不再使用上一次迭代得到的矩阵值,而是改用由多步迭代信息得到的修正BFGS公式更新矩阵,使用该修正公式时,无需假设目标函数是凸的,仍可以保证矩阵在计算过程中正定,从而减少了算法的迭代次数.此外,将基于函数平均权重的非单调技术应用于高效的自适应信赖域算法框架中,得到一个不同于传统信赖域算法的目标函数下降量.在较弱的假设条件下,证明了算法全局收敛到一阶稳定点.数值实验结果表明,在Andrei给出的测试集和CUTEst测试集中,改进的非单调信赖域算法在迭代时间和迭代次数上都优于AINATR和RNATR算法.其次,提出一种修正的非单调信赖域BB算法.由于BB算法的简单性、鲁棒性、低内存要求和全局收敛性等优点,该方法充分利用BB算法的思想,使用多步拟牛顿割线方程,导出修正的BB步长,利用步长信息得到对角标量矩阵使其近似目标函数的Hessian矩阵,由此一个新的信赖域子问题模型被构造.此外,对被缩放无记忆拟牛顿更新公式BFGS或DFP进行特征值分析,在此基础上,提出了一种自适应的信赖域半径更新策略.在适当的条件下,算法的全局收敛性和超线性收敛速度被证明.数值实验表明,与已有的BB类型的算法相比,新的算法呈现出更明显的阶梯状和单调性,因此收敛速度更快.最后,我们对文中所提出的两种新方法进行了总结,并对相关课题进一步的延续、拓展进行了思考与展望.
朱红兰[7]（2019）在《分式模型信赖域方法研究》文中研究表明信赖域方法是非线性优化的一类重要的数值计算方法.该方法有很好的稳定性和很强的收敛性.传统的信赖域算法主要是利用二次模型来逼近目标函数,然而对于非二次性态强、曲率变化较为剧烈的函数,逼近的效果往往不是很好.针对这一缺陷,Davidon首先提出了锥函数.使用锥模型去逼近的效果可能好于二次模型,但其水平向量参数只有一个,这会影响其搜索方向的选择.因此,本文考虑二次模型和锥模型的推广形式—分式模型.它含有三个水平参向量,在充分利用以前迭代过程中的函数信息基础上,可以通过恰当选择这三个水平向量使其满足更多的插值条件,从而更好地逼近原目标函数.当迭代点接近极小点时,分式模型退化为二次模型,从而保留了二次模型在极小点附近收敛快的优点.本文主要研究了分式模型信赖域算法及其在最优化问题中的应用.首先,我们提出了一类含三个参向量的新模型—分式模型,通过控制参量的选取简化分式模型信赖域子问题,并在拟牛顿方向上求解,进而提出了求解无约束优化问题的分式模型信赖域拟牛顿算法.然后,在此基础上深入研究分式模型信赖域子问题的Newton点和最速下降点,从而建立简单折线法求解无约束优化问题的信赖域子问题,数值实验表明分式模型信赖域拟牛顿算法随着优化问题维数的增加,无论是迭代次数还是运行时间都似乎优于锥模型信赖域算法.对于线性等式约束优化问题,利用零空间技术去掉线性等式约束,提出了求解线性等式约束优化问题的分式模型信赖域方法.其次,我们还将分式模型用于求解非线性等式约束优化问题.通过循环固定模型的的分式系数部分,将等式约束优化的分式模型信赖域子问题转化为一个简单的一维二次模型子问题求解,得到了求解子问题的新的近似解方法.在此基础上,我们提出了基于子问题新解法的等式约束问题的拟牛顿算法,证明了算法的收敛性并与锥模型算法进行了数值对比实验.数值结果表明新算法更稳定、有效.最后,对于无约束优化问题,基于交替方向搜索法我们在两个相互正交的方向上分两步搜索求得新锥模型信赖域子问题的一个近似解,提出了解无约束优化问题的新锥模型信赖域算法.数值结果表明新算法明显优于用单折线法求解锥模型信赖域子问题的算法.在此基础上,我们还考虑到参向量一般取下降方向的这一性质,因此通过增加假设条件来简化计算,改进的新算法不但计算简单而且有好的计算效果.
张浩[8]（2018）在《解非线性规划问题的正则化牛顿类方法研究》文中研究指明本论文主要研究了一类正则化牛顿类方法及其在等式约束优化问题中的应用,提出了两种求解无约束优化问题的正则化牛顿类方法和三种求解等式约束优化问题的正则化牛顿类方法.对于每一种方法,我们分析了算法的收敛性,并通过数值试验验证了算法的有效性.本文共分为七章.在第一和第二章中,主要介绍了本论文的研究背景和意义、论文涉及的预备知识、相关算法的研究现状.第三章到第六章是本文的主要研究内容,在第三和第四章,我们提出并分析了两种求解无约束优化问题的正则化牛顿类方法;在第五和第六章,我们提出并分析了三种求解等式约束优化问题的正则化牛顿类方法.在最后一章中,我们对本文进行了总结.本文对求解无约束优化问题自适应正则化牛顿法进行了推广,提出了两种更一般化的正则化牛顿类方法,在比现有方法更弱的假设下、在更大的参数范围内证明了算法具有全局收敛性和局部超线性收敛性.在这两种算法中,每一次迭代通过求解一个无约束正则化子问题来求解试探步.算法通过调整正则化参数来调节步长,进而保证全局收敛性.第一种算法依据目标函数的实际下降量和正则化子问题的预测下降量之间的比值来调节正则化参数;基于子问题的近似解（迭代点的函数值满足柯西下降条件）,在目标函数一阶连续可微,并且迭代序列的函数值有下界的假设下,我们证明了算法具有全局收敛性;基于子问题的最优解,我们证明了算法具有局部超线性收敛性.第二种算法用来求解大规模无约束优化问题,该算法在正则化子问题中使用了有限存储拟牛顿矩阵,借助这种矩阵的特殊结构,正则化子问题可以被更高效地求解,从而使算法可以更适用于大规模无约束优化问题;为了尽可能地利用正则化子问题提供的搜索方向的信息,我们先通过非单调Armijo线搜索获得下一个迭代点,然后依据线搜索的步长来调节正则化参数;在梯度Lipschitz连续、目标函数值有下界的条件下,算法具有全局收敛性;在迭代序列有界、目标函数二阶连续可微的条件下算法具有全局收敛性和局部超线性收敛性.数值试验表明,本文提出的两种正则化牛顿类算法对于无约束优化问题是有效的.本文还考虑了将正则化牛顿类方法应用于求解等式约束优化问题,提出了两种正则化增广拉格朗日算法.通过对增广拉格朗日函数进行二次近似,并添加一个二次正则项来构造了一个易于求解的无约束子问题,在每一步迭代中,我们通过求解这个无约束子问题来计算试探步.在第一种算法中,我们将求解无约束优化问题的正则化方法直接嵌入到经典的增广拉格朗日方法框架中.在第二种算法中,每一次试探步只求解一个无约束子问题,然后利用增广拉格朗日函数作为价值函数来决定试探步能否被接受,同时调节正则化参数;在RCPLD约束规范成立时,算法得到的拉格朗日乘子序列具有有界性;算法全局收敛到一个KKT点或者不可行稳定点.本文还提出了一种正则化序列二次规划算法来求解等式约束优化问题.在每一步迭代中,我们通过求解两个二次子问题来计算试探步;第一个子问题是根据约束违反度函数构造了一个无约束正则化子问题,其目的是用来降低约束违反度;第二个子问题根据目标函数构造了一个带有线性等式约束的二次规划问题,其目的是用来下降目标函数;我们建立了一系列条件对两个子问题的解进行判断,试探步由两个子问题的解中的一个或者两个构成;该方法不使用罚函数或者滤子;算法全局收敛到一个KKT点或者不可行稳定点.数值试验表明本文提出的算法能有效求解等式约束优化问题.
王真真[9]（2018）在《解非线性方程组问题优化方法的研究与改进》文中研究说明本文的思想是,把非线性方程组转化成一个无约束优化问题,然后运用优化算法通过解变形后的无约束优化问题来解非线性方程组。主要内容如下:介绍了优化方法中的记忆梯度算法、稀疏拟牛顿算法、信赖域算法、非单调技术的研究现状,设计了三种求解非方程组问题的优化方法。首先,提出一种新的解非线性方程组问题的非单调记忆梯度算法,该算法将非单调Ck策略与改进的记忆梯度方法相结合,分析证明了算法的全局收敛性,数值实验表明了新算法的有效性,并且适合求解较大规模问题。其次,将拟牛顿算法与稀疏对角技术、改进的非单调大步长技术相结合,设计出一种解非线性方程组问题的稀疏对角拟牛顿算法,论证了算法的全局收敛性,数值实验表明该算法是有效的。最后,将修正拟牛顿方程与新的非单调max{Ck,Dk}策略相结合,设计出一种新的解非线性方程组问题的非单调线搜索规则下的自适应信赖域算法,论证了算法的全局收敛性。数值实验表明新算法有效,适合求解大规模问题。
李丹[10]（2017）在《线性约束优化问题的过滤线搜索的仿射信赖域方法及研究》文中研究表明信赖域方法和线搜索技术是求解非线性优化问题整体收敛性的两种基本策略。信赖域方法主要思想是在当前迭代点的某个邻域内极小化目标函数的一个合适的二次模型,并不断校正信赖域半径,得到一个可以接受的方向步。信赖域方法可以用来求解非凸近似模型,具有很强的收敛性。线搜索技术通过使用所谓的回溯方法选择的步长,很容易满足严格可行性,在确定新的迭代点时计算量较小。过滤方法最初是由Fletcher和Leyffer提出的,用来保证求解非线性约束规划算法的全局收敛性,其主要思想在于如果试探点在减少了目标函数或者约束违反度的情况下,则接受该试探点。这种通过使用多目标优化的概念,可替代罚参数的调整可能出现的问题。非单调技术可以嵌入到信赖域或过滤线搜索的框架中,用来求解非线性最优化问题。正如许多研究者指出,非单调的方案可以提高找到全局最优值的可能性,并且非单调的准则将加快一些病态的情况下的收敛过程。本文提出了结合非单调线搜索过滤技术的仿射内点信赖域方法,建立求解线性不等式约束优化问题的算法,在合理的条件下获得此算法的全局收敛性与快速的局部收敛速率。数值结果表明了算法的有效性。无导数算法不强制目标函数的梯度信息。因此,对于复杂的函数,这种方法可以减少性能的计算成本。Chen和Sun提出了一种渐弱多维过滤线搜索方法求解无约束优化问题。其基本思想是引入非精确线搜索步长到多维过滤中,当步长趋向零时,滤子的作用也越来越弱。本文给出了一种结合非单调线搜索渐弱过滤技术的没有非退化假设的仿射内点无导数信赖域算法求解非线性界约束优化问题。该算法的目的是构造由目标函数的结构多项式插值模型的问题。所提出的新方法保证了一阶和二阶临界点的全局收敛性,而无需使用传统的线搜索过滤技术中的切换条件。利用指示函数来定义新的仿射矩阵,以避免非退化性。该方法被证明,在强二阶充分条件和没有非退化的假设下,具有局部二次收敛速率。初步的数值结果表明算法的可行性与有效性。有各种证据支持的说法,随机模型可以产生确定性优化的实际和理论利益。大多数当代随机方法产生随机的沿着所有可能使得目标函数的较小的水平下降的方向。在直接搜索中,随机正生成集被研究,能够在性能和非光滑问题的收敛性理论中获益。本文给出了一种结合非单调线搜索渐弱过滤技术的基于概率模型的仿射内点无导数信赖域算法求解有界变量约束优化问题。在合理的条件下获得此算法的全局收敛性与快速的局部收敛速率。数值结果表明了算法的有效性。最后对全文进行总结,并且提出进一步的研究方向。
二、无约束拟可微优化的信赖域方法的全局收敛性（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、无约束拟可微优化的信赖域方法的全局收敛性（论文提纲范文）
（1）稀疏逻辑回归二阶方法研究（论文提纲范文）
| 致谢 |
| 摘要 |
| ABSTRACT |
| 0 符号说明 |
| 1 绪论 |
| 1.1 研究背景 |
| 1.2 预备知识 |
| 1.2.1 目标函数基本性质 |
| 1.2.2 稀疏约束变分性质 |
| 1.3 研究现状 |
| 1.3.1 稀疏正则优化二阶算法 |
| 1.3.2 稀疏约束优化二阶算法 |
| 1.4 本文的主要工作 |
| 2 投影梯度牛顿方法 |
| 2.1 最优性条件 |
| 2.2 算法框架 |
| 2.3 收敛性分析 |
| 2.4 数值实验 |
| 2.5 小结 |
| 3 自适应牛顿方法 |
| 3.1 稳定点方程 |
| 3.2 算法框架 |
| 3.3 收敛性分析 |
| 3.4 数值实验 |
| 3.5 一个扩展 |
| 3.6 小结 |
| 4 子空间信赖域方法 |
| 4.1 最优性条件 |
| 4.2 算法框架 |
| 4.3 收敛性分析 |
| 4.4 数值实验 |
| 4.5 小结 |
| 5 总结与展望 |
| 参考文献 |
| 作者简历及攻读博士学位期间取得的研究成果 |
| 学位论文数据集 |
（2）改进的非单调信赖域算法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究进展 |
| 1.2.1 问题介绍 |
| 1.2.2 信赖域方法的产生与发展 |
| 1.2.3 信赖域子问题的构造及求解 |
| 1.2.4 信赖域半径的更新 |
| 1.2.5 信赖域方法与其他技巧相结合 |
| 1.3 本文研究的内容及结构 |
| 第二章 理论基础 |
| 2.1 求解无约束优化问题的线搜索型方法 |
| 2.2 求解无约束优化问题的信赖域方法 |
| 2.3 求解非线性方程组的信赖域算法的基本结构 |
| 2.4 算法的收敛定义 |
| 2.5 本章小结 |
| 第三章 改进的无约束优化非单调自适应信赖域方法 |
| 3.1 引言 |
| 3.2 改进的无约束优化非单调自适应信赖域算法 |
| 3.3 算法的收敛性质 |
| 3.4 数值实验 |
| 3.5 本章小结 |
| 第四章 求解非线性方程组的非单调信赖域方法 |
| 4.1 引言 |
| 4.2 改进的非单调线搜索信赖域算法 |
| 4.3 算法的收敛性质 |
| 4.4 数值试验 |
| 4.5 本章小结 |
| 总结与展望 |
| 参考文献 |
| 读硕期间发表的论文目录 |
| 致谢 |
（3）求解两类问题的最小二乘三项共轭梯度法（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状分析 |
| 1.3 论文主要研究工作 |
| 第二章 理论基础 |
| 2.1 无约束优化问题的基本概念 |
| 2.2 共轭梯度法与非线性方程组问题 |
| 2.3 非光滑优化与凸优化的基础知识 |
| 2.4 本章小结 |
| 第三章 求解大规模非线性方程组的最小二乘三项共轭梯度法 |
| 3.1 引言 |
| 3.2 算法描述 |
| 3.3 收敛性分析 |
| 3.4 数值试验 |
| 3.5 本章小结 |
| 第四章 求解非光滑凸优化的最小二乘三项共轭梯度法 |
| 4.1 问题提出 |
| 4.2 算法描述 |
| 4.2.1算法4.1 |
| 4.2.2算法4.2 |
| 4.3 全局收敛性分析 |
| 4.3.1 算法4.1的全局收敛性 |
| 4.3.2 算法4.2的全局收敛性 |
| 4.4 数值试验 |
| 4.5 本章小结 |
| 结论与展望 |
| 参考文献 |
| 致谢 |
| 攻读学位期间参与的科研项目及发表的学术论文 |
（4）非光滑问题的信赖域方法研究（论文提纲范文）
| 中文摘要 |
| 英文摘要 |
| 1 绪论 |
| 1.1 研究背景及意义 |
| 1.1.1 研究背景 |
| 1.1.2 研究意义 |
| 1.2 国内外研究现状 |
| 1.2.1 非光滑优化的研究现状 |
| 1.2.2 信赖域方法的研究现状 |
| 1.3 研究目的和内容 |
| 1.3.1 研究目的 |
| 1.3.2 研究内容 |
| 2 预备知识 |
| 2.1 非光滑优化基本理论 |
| 2.2 信赖域方法 |
| 2.3 拟割线方法 |
| 2.4 本章小结 |
| 3 一类新的非光滑信赖域方法 |
| 3.1 引言 |
| 3.2 非光滑信赖域方法 |
| 3.3 收敛性分析 |
| 3.4 数值实验 |
| 3.5 本章小结 |
| 4 基于拟割向量的非单调信赖域方法 |
| 4.1 引言 |
| 4.2 新算法 |
| 4.3 收敛性分析 |
| 4.4 数值实验 |
| 4.5 本章小结 |
| 5 基于拟割向量的自适应信赖域方法 |
| 5.1 引言 |
| 5.2 新算法 |
| 5.3 收敛性分析 |
| 5.4 数值实验 |
| 5.5 本章小结 |
| 6 结论和展望 |
| 6.1 结论 |
| 6.2 展望 |
| 参考文献 |
| 附录 |
| A.作者在攻读学位期间发表的论文目录 |
| B.学位论文数据集 |
| 致谢 |
（5）基于增广Lagrangian的不等式约束优化问题的信赖域方法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景和意义 |
| 1.2 国内外研究现状 |
| 1.3 主要研究内容及结构安排 |
| 第2章 预备知识 |
| 2.1 基本定义与性质 |
| 2.2 不等式约束优化问题的最优性条件 |
| 2.3 增广Lagrange方法概述 |
| 2.4 信赖域方法概述 |
| 第3章 基于增广Lagrangian的不等式约束优化问题的一个信赖域方法 |
| 3.1 引言 |
| 3.2 基于增广Lagrangian的一个信赖域方法的提出 |
| 3.3 收敛性分析 |
| 3.4 数值实验 |
| 3.5 本章小结 |
| 第4章 总结与展望 |
| 4.1 总结 |
| 4.2 展望 |
| 致谢 |
| 参考文献 |
| 攻读学位期间获得与学位相关的科研成果目录 |
| 附录 |
（6）基于非单调信赖域算法的研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 符号对照表 |
| 缩略语对照表 |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 信赖域半径的更新策略 |
| 1.2.2 非单调技术的发展 |
| 1.3 研究内容和结构安排 |
| 第二章 信赖域算法的基础知识 |
| 2.1 最优性条件 |
| 2.2 信赖域算法的基本框架 |
| 2.3 信赖域子问题的求解 |
| 第三章 非单调自适应信赖域算法 |
| 3.1 引言 |
| 3.2 矩阵的更新和非单调技术的应用 |
| 3.3 改进的非单调自适应信赖域算法 |
| 3.4 收敛性分析 |
| 3.5 数值实验 |
| 3.6 本章小结 |
| 第四章 非单调信赖域BB算法 |
| 4.1 引言 |
| 4.2 修正的BB步长和半径的更新策略 |
| 4.3 非单调自适应信赖域BB算法 |
| 4.4 收敛性分析 |
| 4.5 数值实验 |
| 4.6 本章小结 |
| 第五章 结论与展望 |
| 5.1 主要结论 |
| 5.2 展望 |
| 参考文献 |
| 致谢 |
| 作者简介 |
（7）分式模型信赖域方法研究（论文提纲范文）
| 摘要 |
| abstract |
| 符号对照表 |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 无约束最优化几种常用方法 |
| 1.2.1 最速下降法 |
| 1.2.2 牛顿法 |
| 1.2.3 拟牛顿算法 |
| 1.2.4 信赖域方法 |
| 1.3 研究现状 |
| 1.4 本文的主要工作及内容安排 |
| 第二章 预备知识 |
| 2.1 二次模型信赖域算法 |
| 2.2 基本锥模型信赖域算法 |
| 2.3 新锥模型信赖域算法 |
| 第三章 无约束优化问题的分式模型信赖域拟牛顿算法 |
| 3.1 分式模型的提出 |
| 3.2 分式模型信赖域子问题的近似解 |
| 3.3 分式模型信赖域拟牛顿算法及其收敛性 |
| 3.4 数值实验 |
| 第四章 基于折线法的分式模型信赖域拟牛顿算法 |
| 4.1 最速下降点 |
| 4.2 分式模型信赖域子问题的简单折线法 |
| 4.3 分式模型信赖域拟牛顿算法及其收敛性 |
| 4.4 数值实验 |
| 第五章 线性等式约束问题的分式模型拟牛顿算法 |
| 5.1 引言 |
| 5.2 简单折线算法求解信赖域子问题 |
| 5.3 新拟牛顿算法及其全局收敛性 |
| 5.4 数值实验 |
| 第六章 基于子问题新解法的等式约束问题的拟牛顿算法 |
| 6.1 引言 |
| 6.2 分式模型信赖域子问题的算法 |
| 6.3 全局收敛性 |
| 6.4 数值实验 |
| 第七章 基于交替方向搜索法的新锥模型信赖域算法 |
| 7.1 引言 |
| 7.2 交替方向搜索法 |
| 7.3 算法及其收敛性 |
| 7.4 数值实验 |
| 7.5 算法的改进 |
| 7.6 改进算法的数值实验 |
| 第八章 结论与展望 |
| 8.1 本文的主要工作及创新点 |
| 8.2 进一步的研究展望 |
| 参考文献 |
| 致谢 |
| 在学期间的研究成果及发表的学术论文 |
| 附录 无约束最优化测试函数 |
（8）解非线性规划问题的正则化牛顿类方法研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 主要符号对照表 |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 本文中一些常用记号 |
| 1.3 正则化方法的研究进展 |
| 1.3.1 线搜索型正则化牛顿法 |
| 1.3.2 自适应正则化牛顿法 |
| 1.4 本文的主要研究内容 |
| 第二章 预备知识 |
| 2.1 非线性规划问题的最优条件 |
| 2.2 几个常用的概念 |
| 2.3 求解无约束优化问题的两种正则化牛顿法 |
| 第三章 求解无约束优化问题的一种自适应正则化牛顿类方法 |
| 3.1 引言 |
| 3.2 算法 |
| 3.3 全局收敛性分析 |
| 3.4 局部超线性收敛性分析 |
| 3.5 数值试验 |
| 3.6 结语 |
| 第四章 求解大规模无约束优化问题的非单调自适应正则化牛顿类方法 |
| 4.1 引言 |
| 4.2 正则化有限存储拟牛顿方程的求解 |
| 4.3 算法 |
| 4.4 全局收敛性分析 |
| 4.5 局部超线性收敛性分析 |
| 4.6 数值试验 |
| 4.7 结语 |
| 第五章 求解等式约束优化问题的正则化增广拉格朗日法 |
| 5.1 引言 |
| 5.2 求解等式约束优化问题的两种正则化增广拉格朗日方法 |
| 5.3 收敛性分析 |
| 5.3.1 罚参数σk趋向于无穷大情形的收敛性 |
| 5.3.2 {σk}有界情形的收敛性 |
| 5.4 数值试验 |
| 5.5 结语 |
| 第六章 求解等式约束优化问题的序列正则化二次规划方法 |
| 6.1 引言 |
| 6.2 算法 |
| 6.3 收敛性分析 |
| 6.4 数值试验 |
| 6.5 结语 |
| 第七章 总结与展望 |
| 7.1 本文的主要工作 |
| 7.2 进一步的研究方向 |
| 参考文献 |
| 致谢 |
| 在学期间的研究成果及发表的学术论文 |
（9）解非线性方程组问题优化方法的研究与改进（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 引言 |
| 1.1 课题背景及研究意义 |
| 1.2 研究现状 |
| 1.3 本文的主要工作 |
| 第二章 一种新的解非线性方程组问题的记忆梯度算法 |
| 2.1 预备知识 |
| 2.2 新记忆梯度算法 |
| 2.3 全局收敛性 |
| 2.4 数值实验 |
| 2.5 本章小结 |
| 第三章 解非线性方程组问题的非单调稀疏对角拟牛顿算法 |
| 3.1 预备知识 |
| 3.2 改进的非单调稀疏对角拟牛顿算法 |
| 3.3 全局收敛性 |
| 3.4 数值实验 |
| 3.5 本章小结 |
| 第四章 一种新的解非线性方程组问题的非单调自适应信赖域算法 |
| 4.1 预备知识 |
| 4.2 新的非单调自适应信赖域算法 |
| 4.3 全局收敛性 |
| 4.4 数值实验 |
| 4.5 本章小结 |
| 结论 |
| 参考文献 |
| 攻读硕士学位期间取得的学术成果 |
| 致谢 |
（10）线性约束优化问题的过滤线搜索的仿射信赖域方法及研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 主要符号对照表 |
| 第一章 最优化理论与方法的基础 |
| 1.1 最优化问题及最优性条件 |
| 1.2 最优化问题的算法迭代格式 |
| 1.3 函数插值 |
| 1.4 线搜索技术与信赖域策略 |
| 1.5 过滤线搜索技术 |
| 1.6 本文结构概述 |
| 第二章 线性不等式约束优化问题的仿射内点信赖域方法 |
| 2.1 前言 |
| 2.2 算法 |
| 2.3 全局收敛性分析 |
| 2.4 局部收敛速率 |
| 2.5 数值实验 |
| 第三章 有界变量约束优化问题的渐弱过滤线搜索无导数仿射信赖域方法 |
| 3.1 前言 |
| 3.2 无导数仿射信赖域方法 |
| 3.3 无导数仿射信赖域算法（一阶收敛性条件） |
| 3.4 一阶临界点的全局收敛性分析 |
| 3.5 无导数仿射信赖域算法（二阶收敛性条件） |
| 3.6 二阶临界点的全局收敛性分析 |
| 3.7 局部收敛速率 |
| 3.8 数值实验 |
| 第四章 有界变量约束的概率优化模型的渐弱过滤线搜索仿射信赖域方法 |
| 4.1 前言 |
| 4.2 概率优化模型的仿射信赖域方法 |
| 4.3 概率优化模型的仿射信赖域算法（一阶收敛性条件） |
| 4.4 一阶临界点的全局收敛性分析 |
| 4.5 概率优化模型的仿射信赖域算法（二阶收敛性条件） |
| 4.6 二阶临界点的全局收敛性分析 |
| 4.7 数值实验 |
| 第五章 小结 |
| 参考文献 |
| 攻读博士学位期间的研究成果 |
| 致谢 |
四、无约束拟可微优化的信赖域方法的全局收敛性（论文参考文献）
- [1]稀疏逻辑回归二阶方法研究[D]. 王锐. 北京交通大学, 2021
- [2]改进的非单调信赖域算法研究[D]. 胡红红. 南宁师范大学, 2021
- [3]求解两类问题的最小二乘三项共轭梯度法[D]. 覃嘉. 广西大学, 2020(03)
- [4]非光滑问题的信赖域方法研究[D]. 李曼玉. 重庆大学, 2019(01)
- [5]基于增广Lagrangian的不等式约束优化问题的信赖域方法研究[D]. 柳颜. 武汉理工大学, 2019(07)
- [6]基于非单调信赖域算法的研究[D]. 薛艳勤. 西安电子科技大学, 2019(02)
- [7]分式模型信赖域方法研究[D]. 朱红兰. 南京航空航天大学, 2019(02)
- [8]解非线性规划问题的正则化牛顿类方法研究[D]. 张浩. 南京航空航天大学, 2018(01)
- [9]解非线性方程组问题优化方法的研究与改进[D]. 王真真. 中国石油大学(华东), 2018(07)
- [10]线性约束优化问题的过滤线搜索的仿射信赖域方法及研究[D]. 李丹. 上海师范大学, 2017(03)