9彩网开发网
广告位招商联系QQ:123077622
 
广告位招商联系QQ:123077622

20210515 波士顿房价数据集的处理

9彩网开发网 https://gingimenez.com 2021-05-17 10:08 出处:51CTO 作者:ATaburiss
20210515 波士顿房价数据集的处理,ATaburiss的博客原创的其他文章。
1-1
# 波士顿房价数据集的处理
import pandas as pd
import numpy as np
from sklearn.datasets import load_boston

boston = load_boston()
boston.data.shape
boston.data
1-2-1
import pandas as pd
import numpy as np
from sklearn.datasets import load_boston

boston = load_boston()
# 用 pandas 库将数据集整理成规则的形式
df = pd.DataFrame(boston.data,columns=boston.feature_names)
print(df.head())
1-2-2
import pandas as pd
import numpy as np
from sklearn.datasets import load_boston

boston = load_boston()
df = pd.DataFrame(boston.data,columns=boston.feature_names)
boston.target
1-3
# 用 statsmodels 库做线性回归
import pandas as pd
import numpy as np
from sklearn.datasets import load_boston
import statsmodels.api as sm

boston = load_boston()
model = sm.OLS(boston.target, boston.data)
results = model.fit()
print(results.summary)

data2 = boston.data[:,results.pvalues < 0.05]
model2 = sm.OLS(boston.target, data2)
results2 = model2.fit()
print(results2.summary)

data3 = data2[:,results2.pvalues<0.001]
model3 = sm.OLS(boston.target,data3)
results3 = model3.fit()
print(results3.summary())
# 可以看到里面的 t测试,F测试,AIC BIC P值等信息
# 可以通过P值进行判断筛选,P值小的不被需要;就可以筛选出更小的模型
print(results3.tvalues)
1-3-1
data4 = data3[:,np.abs(results3.tvalues) > 10]
model4 = sm.OLS(boston.target,data4)
results4 = model4.fit()
print(results4.summary())
2-1
# 使用 sklearn 将数据的训练集和测试集分开
from sklearn.model_selection import train_test_split
from sklearn import linear_model
x = boston.data
y = boston.target
# test_size = 0.33,测试部分占 33.33%,random_state 是随机种子
X_train, X_test, y_train, y_test = train_test_split(x,y,test_size = 0.33, random_state=42)
# Ir是定义的线性回归模型
Ir = linear_model.LinearRegression()
# Ir.fit是做拟合
Ir.fit(X_train,y_train)
# Ir.predict是对X的测试集进行推测;结果是预测的放假和真实房价y_test的关系
Ir.predict(X_test)
3-1
# Ridge 和 Lasso 的正则化,alpha 是正则化的强度
# 方式和线性拟合是一样的
ridge = linear_model.Ridge(alpha=1.0)
ridge.fit(X_train,y_train)
lasso = linear_model.Lasso(alpha=1.0)
lasso.fit(X_train,y_train)
lasso.predict(X_test)  # 打印会得到很多数据,数据是对 X 测试集 的预测
# 这些预测值可以用来计算和真实值的差距,可以通过调整 alpha 查看相差程度
3-2
# 如果想对模型进行挑选,可以用 cross_val_score 也就是交叉验证的分数
# cv 是交叉验证的个数
from sklearn.model_selection import cross_val_score

Ir_score = cross_val_score(Ir,x,y,cv=10)
ridge_score = cross_val_score(ridge,x,y,cv=10)
lasso_score = cross_val_score(lasso,x,y,cv=10)

print(Ir_score.mean(),Ir_score.std())
print(ridge_score.mean(),ridge_score.std())
print(lasso_score.mean(),lasso_score.std())
-->
0.20252899006056194 0.5952960169512286
0.2561668703759346 0.5211946351515252
0.19828974626177534 0.3335592209858715
# 可以看到,平均值中 lasso 是最低的,但是它的标准差也会小很多
3-3
# 经过调整,可以得到最佳的正则化的参数
# 这个例子显示了看到正则化路径的过程
# lasso_path 正则化路径,elastic net 弹性网络是 lasso 和 ridge的结合
# 惩罚时,同时惩罚 L1 和 L2的距离
# enet_path 是
from itertools import cycle
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import lasso_path, enet_path
from sklearn import datasets

diabetes = datasets.load_diabetes()     # 使用的是糖尿病的数据
x = diabetes.data
y = diabetes.target
# 正规化,把数据除以标准差,让数据尽可能的在 -1 到 1 之间
x /= x.std(axis=0)                 

eps = 5e-3  # the smaller it is the longer is the path

print("Computing regularization path using the lasso...")
alphas_lasso, coefs_lasso, _ = lasso_path(X, y, eps, fit_intercept=False)

print("Computing regularization path using the elastic net...")
alphas_enet, coefs_enet, _ = enet_path(
    X, y, eps=eps, l1_ratio=0.8, fit_intercept=False)

# Display results
ax = plt.gca()

colors = cycle(['b', 'r', 'g', 'c', 'k'])
neg_log_alphas_lasso = -np.log10(alphas_lasso)
neg_log_alphas_enet = -np.log10(alphas_enet)
for coef_l, coef_e, c in zip(coefs_lasso, coefs_enet, colors):
    l1 = plt.plot(neg_log_alphas_lasso, coef_l, c=c)
    l2 = plt.plot(neg_log_alphas_enet, coef_e, linestyle='--', c=c)

plt.xlabel('-Log(alpha)')
plt.ylabel('coefficients')
plt.title('Lasso and Elastic-Net Paths')
plt.legend((l1[-1], l2[-1]), ('Lasso', 'Elastic-Net'), loc='lower left')
plt.axis('tight')
知识点说明:
1. 线性回归
机器学习中需要用数据推断模型,这一步可能是不够准确的,
所以数据推断模型这一步,到底有多准确,是线性回归需要回答的问题;数据→ 模型
从模型预测更多的数据,从模型回到数据,模型 → 数据

2. t 统计量
2-1 什么是 t-统计量
      β1hat 的分布是什么?用 t-统计量 计算 β1hat 的分布
2-1-1 什么是 β1 hat?
      用标准差刻画系数误差
      β1 hat 是估计出的一元线性方程的斜率

3. p值是什么?
有了t分布以后,可以推断概率;假设 x y 没有关系,β1 就会距离0 非常近
做统计的时候,不会真正得到 0这个数
对于给定的 t-统计量,它(或者更大的t)发生的概率有多大?这个数叫做 p值

4. 什么是 F 统计量?
假设所有系数都是 0,对立假设就是至少有 一个 不是 0
当有多个系数为 0 时,定义统计量 F(n个数据,p个特征)和 t 统计没有本质区别
F统计量一般应该比较小,如果F统计量很大,表示 TSS 和RSS差别很大
意味着被解释掉的非常多,比较不容易相信所有数据都是 0,说明假设不成立

5. AIC BIC 是什么?
特征的筛选目标并不是为了减少 RSS,给定特征后算 β 是减少 RSS的工作
特征更多,RSS自然会更小,但这不是我们需要的
我们要考虑 RSS 同时考虑有多少个特征
AIC、BIC是在RSS的基础上考虑有多少个特征(d是特征个数)

6. 什么是交叉验证?
在做分类问题和回归问题时,可能会 倾向于增加很多特征
如果特征太多,会导致过拟合;拟合过渡,会导致拟合是基于噪声而不是信号
如果欠拟合,将不会得到拟合结果;所以是有一个平衡的
将原始数据,切成若干段,那其中的若干段预测下一段,轮换被预测部分
比如,1 2 预测 3 ;1 3 预测 2; 2 3 预测 1;
这样对 1 2 3 段数据分别有通过交叉验证而得到的预测
通过对预测的更细节的分析就可以判断是否过拟合

扫码领视频副本.gif

0

精彩评论

暂无评论...
验证码 换一张
取 消