《(完整word版)机器学习常用模型及优化(word文档良心出品)》由会员分享，可在线阅读，更多相关《(完整word版)机器学习常用模型及优化(word文档良心出品)（9页珍藏版）》请在装配图网上搜索。
1、第一章模型建立1.1回归模型：条件：1. 数据2. 假设的模型结果：用模型对数据学习，预测新数据1.1.1 一元线性回归模型（最小二乘法）它通过最小化误差的平方和寻找数据的最佳函数匹配我们以最简单的一元线性模型來解释最小二乘法。 什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量 机等），如果预测的变量是连续的，我们称其为回归假设从总体中获取了 n组观察值（XI, Yl）, （X2, Y2）,，（Xii, Yn） 平方损失函数n打Q-工才=工（】；一几一侏苍）2冋211-1=2“-0。-施）（-】）=000=2土（乙-九-必）（-尤）（）11则通过Q
2、最小确定这条玄线，即俺定个求很值的问题.町以通过求导数得到求Q对两个恃佔参数的僵导数:粮据数学知识我flMUH函数的极值点为偏&为0的点,解得:B上X一工吃灯1.1.2 逻辑回归模型将线性回归中的一次模型变成逻辑回归函数，即 sigmoid 函数。/（/）=命=门士或考：吩）=1 + exp（化）其他的思路和想法与线性回归一样，所以说逻辑回归的模型是一个非线性模型，但是它本质上又是一个线性回归模型损失函数（误差函数）为：J一贏剳心叭胡）+（】-沪）吨-心）1.1.3 softmax 回归它是逻辑回归的扩展从分类的角度来说，逻辑回归只能将东西分成两类（0,1）, sofhnax可以分 成多类逻辑
3、回归中，模型函数（系统函数）为：加1 *cxp（ -0Tx）Softmax 回归中，模型函数（系统函数）为:为变龟，把它们音作足p(泸)1丹);0)= 2丹);0)=上 |了)； )1.2神经网络模型1.2.1 神经元首先來一个三输入单输出的神经元，输入输出都是二进制（0,1）。举例來说:XI表示天气是否好X2表示交通是否好X3表示是否有女朋友陪你Y表示你是否去电影院看电影要让这个神经元工作起來，需要引入权重，wl,w2,v3。这样就有了：wi表示”天气是否好”对你做决定的重要程度W2表示”交通是否好”对你做决定的重要程度W3表示”是否有女朋友陪你”对你做决定的重要程度Tlireshold越低
4、表示你越想去看电影，风雨无阻你都想去。Tlireshold越高表 示你越不想去看电影，天气再好也白搭。Thieshold适中表示你去不去电影院要 看情况,看心情。w)=output =threshold1 if threshold(1)eT0-0if Eyw3xj inputsoutput1.2.2 神经网络现在扩展一下：这样就出现神经网络了，可以看出这是很多神经元组合成的。把上面的 （1） 式中的 threshold 用偏移量b表示， 并且移到不等式左边， 出 现下面（2）式:(0output = if w I 4- d (2)例子就不举了， 原文是实现与非门的一个例子， 说明这个东西可以进行逻辑 推理，它就很有潜力了，电脑就是靠逻辑加运算来实现各种功能。现在要用这个东西学习识别手写字体，我们的想法是这样的:举例来说，电脑错把 9当成了 8,那么我们希望通过自动调整 w或 b来对 output进行调整，以达到正确的结果。这时网络会自己“学习” 了。具体是这样的：1 if cr(w+b) 0.50 if cr(w+b)0其中，H是 hessian矩阵:d2ifr.泊_Hessian矩阵的引入使得高维情况下牛顿法较为少用，但是有人己提出解决方案 Quasi-Newton method
(完整word版)机器学习常用模型及优化(word文档良心出品)
