# Here We create data
a = 0.5 # coefficient1
b = -2 # coefficient1
c = 5 # intercept
noiseVar = 500 # 高斯noise的标准差
x = np.arange(-50, 100, 0.1)
# generate data
y = a * x**2 + b*x + c + noiseVar* np.random.randn(x.size)
我们现在通过代码将数据点绘制出来：
```python
plt.plot(x, y, 'o', color='r', label='Data') # plot data
plt.plot(x, a * x**2 + b*x + c, '-', color='k', label='True model') # plot tru model
plt.xlabel('Population (1000 ppl)')
plt.ylabel('House price (k yuan)')
plt.legend(fontsize=14)
plt.title('Linearized model')
```
我们会得到如下散点图：
图2.4.3 模拟数据结果
下一步，计算$$R^2$$的各项参数：
我们来拟合一条 $$y=ax^2+bx+c$$的曲线, 首先我们定义loss function：
```python
from scipy.optimize import minimize
def lossfun(params):
a,b,c = params
predict_data = a*x**2+b*x + c
return ((predict_data-y)**2).sum()
```
然后我们来优化这个函数，即找到$$a$$, $$b$$, $$c$$让这个函数最小
```python
res = minimize(fun=lossfun, x0=(0.5, -3, 4)) # 用minimize去优化求解, 这里x0函数搜索的初始值
print(res.x)
fitParams = res.x # fitted parameter
print(a, b ,c)
```
可以得到结果：
```
[ 0.49314323 -1.45505584 12.9220037 ]
0.5 -2 5
```
画出拟合模型和真实模型
```python
plt.plot(x, y, 'o', color='r', label='Data') # plot data
plt.plot(x, a * x**2 + b*x + c, '-', color='k', label='True model') # plot tru model
plt.plot(x, fitParams[0]*x**2 + fitParams[1]*x + fitParams[2], '-', color='b', label='Fitted model') # plot tru model
plt.xlabel('Population (1000 ppl)')
plt.ylabel('House price (k yuan)')
plt.legend(fontsize=14)
plt.title('Linearized model')
```
可以得到结果：
图2.4.4 模拟数据结果
最后，$$R^2$$的定义，先计算predict\_data，再计算$$R^2$$
```python
predict_data = fitParams[0]*x**2+fitParams[1]*x + fitParams[2] # mi
R2 = 1-((y-predict_data)**2).sum()/((y-y.mean())**2).sum()
print('R2 is', R2)
```
得到结果
```
R2 is 0.8719394366677774
```
模型拟合的目标是接近真实模型（true model），但由于数据中含有噪音，我们永远无法知道真实模型到底是怎样的。在模型拟合的过程中，如何避免无意义的噪音，是一件十分困难的事情，这实际上也是所有计算模型面临的一个核心问题。许多方法试图解决这一问题，其中交叉验证就是一种典型方法。
### 交叉验证
如图2.4.2所示，一个过拟合的模型在其拟合的数据上会有较好的拟合结果，但在泛化至新数据上可能表现不佳。交叉验证（cross-validation）则可以体现模型的泛化能力，减少过拟合。常用的方法有留一交叉验证（leave-one-out cross-validation）、k折交叉验证（k-fold cross-validation）等。
其具体操作步骤如下：
1. 在数据集中挑出一些数据，作为测试集；
2. 剩余数据作为训练集，拟合模型；
3. 最后采用测试集的数据评价用训练集拟合出来的模型准确性。
注：测试集和训练集的数据应该是两份独立的数据，不能重合。
#### 代码示例（交叉验证）
```python
import numpy as np
from scipy.optimize import minimize
idx = np.mod(np.arange(x.size),5) # 把所有的数据分成5份
np.random.shuffle(idx) # 随机打乱顺序
# 现在来做Cross-validation
r2 = np.zeros(5)
for i in range(5):
y_train = y[idx!=i].copy()
y_test = y[idx==i].copy()
x_train = x[idx!=i].copy()
x_test = x[idx==i].copy()
# define loss function
lossfun=lambda params: ((params[0]*x_train**2+params[1]*x_train+params[2]-y_train)**2).sum()
# optimize loss function
res = minimize(fun=lossfun, x0=(0.5, -3, 4)) # 用minimize去优化求解
fitParams = res.x
# calculate R2
y_pred = fitParams[0]*x_test**2+fitParams[1]*x_test+fitParams[2]
r2[i] = 1-((y_test-y_pred)**2).sum()/((y_test-y_test.mean())**2).sum()
print('Cross validation R2 is ', r2)
print('\n The average R2 is', r2.mean())
```
以上为交叉验证的基本操作流程，但不同形式的验证方法还会有差异，比如图2.4.5显示的就是留-交叉验证（leave-one-out cross-validation）的过程——数据集中共6个数据点（以白色方块表示），每次验证指保留一个数据点作为测试集（以灰色方块表示，只有1个），其余没选中的则为训练集（以红色方块表示，共5个）。根据红色方块训练模型，再用灰色方块验证模型，得到模型准确性指标。在完成6次的交叉验证后，一共得到6个模型准确性的值，将这一组数据求和或者求平均，即可综合评价模型准确性。
图2.4.5 留-交叉验证的过程
得到结果
```
Cross validation R2 is [0.8750066 0.88558795 0.88000305 0.85245239 0.85173928]
The average R2 is 0.8689578544743828
```
一般在小样本数据中，常使用留一交叉验证方法。当数据集较大时，K折交叉验证更为通用。K折交叉验证方法将数据随机分为k组，每组分别做一次测试集，剩下的k-1组做训练集。如此循环后，最终会得到k个模型，并有k个模型准确性评价结果（例如，$$R^2$$），可以将这k个结果求和或求平均，综合评价模型准确性。
总的来说，评价一个模型好不好，并非看它在训练集上的表现，而是看它在测试集上的表现。交叉验证是一种思想，并没有严格规定的方法，其根本目的是为了估计模型的准确性，确保模型的泛化能力。
### 选择合适的模型
一个复杂的模型，拥有较强大的拟合能力，对于不同数据更加灵活，能够解释更多数据点。其中，能够决定模型复杂度（model complexity）的因素之一就是函数的形式，比如二阶非线性模型比一阶线性模型更复杂，但这不代表二阶非线性模型的拟合情况一定比线性模型好。如图
以图2.4.6为例，左侧图像绘制了真模型与一个7阶拟合模型的相似情况，红色的空心点代表样本数据点，因为有噪音的存在，所以真模型与数据点不完全重合。蓝色曲线表示的是根据红色空心点进行拟合的模型，可以看到其与真模型是不完全相似的。使用7阶函数虽然可以最大限度地拟合红色空心点，但由于拟合了不必要的噪音，导致其过拟合。
右半部分中红色折线代表在拟合模型函数阶数不同（即模型复杂度不同）的情况下，拟合样本数据的均方误差；黑色折线则代表拟合模型在拟合总体数据时的均方误差。
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://ruyuanzhang.gitbook.io/compmodcogpsy/di-er-zhang-ji-suan-mo-xing-ji-chu/2.4-mo-xing-zhun-que-du.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.