加入收藏 | 设为首页 | 会员中心 | 我要投稿 我爱故事小小网_铜陵站长网 (http://www.0562zz.com/)- 视频终端、云渲染、应用安全、数据安全、安全管理!
当前位置: 首页 > 运营中心 > 网站设计 > 教程 > 正文

数据科学家需要了解的5种采样方法

发布时间:2019-07-31 00:24:09 所属栏目:教程 来源:skura
导读:副标题#e# 笔者按,采样问题是数据科学中的常见问题,对此,WalmartLabs 的数据科学家 Rahul Agarwal 分享了数据科学家需要了解的 5 种采样方法,雷锋网 AI 科技评论编译整理如下。 数据科学实际上是就是研究算法。 我每天都在努力学习许多算法,所以我想列

我们现在可以使用以下方法进行随机过采样和欠采样:

  1. num_0 = len(X[X['target']==0])  
  2. num_1 = len(X[X['target']==1])  
  3. print(num_0,num_1)# random undersampleundersampled_data = pd.concat([ X[X['target']==0].sample(num_1) , X[X['target']==1] ])  
  4. print(len(undersampled_data))# random oversampleoversampled_data = pd.concat([ X[X['target']==0] , X[X['target']==1].sample(num_0, replace=True) ])  
  5. print(len(oversampled_data))------------------------------------------------------------  
  6. OUTPUT:  
  7. 90 10  
  8. 20  
  9. 180 

使用 imbalanced-learn 进行欠采样和过采样

imbalanced-learn(imblearn)是一个用于解决不平衡数据集问题的 python 包,它提供了多种方法来进行欠采样和过采样。

a. 使用 Tomek Links 进行欠采样:

imbalanced-learn 提供的一种方法叫做 Tomek Links。Tomek Links 是邻近的两个相反类的例子。

在这个算法中,我们最终从 Tomek Links 中删除了大多数元素,这为分类器提供了一个更好的决策边界。

数据科学家需要了解的5种采样方法

  1. from imblearn.under_sampling import TomekLinks  
  2. tl = TomekLinks(return_indices=True, ratio='majority')  
  3. X_tl, y_tl, id_tl = tl.fit_sample(X, y) 

b. 使用 SMOTE 进行过采样:

在 SMOE(Synthetic Minority Oversampling Technique)中,我们在现有元素附近合并少数类的元素。

数据科学家需要了解的5种采样方法

  1. from imblearn.over_sampling import SMOTE  
  2. smote = SMOTE(ratio='minority')  
  3. X_sm, y_sm = smote.fit_sample(X, y) 

imbLearn 包中还有许多其他方法,可以用于欠采样(Cluster Centroids, NearMiss 等)和过采样(ADASYN 和 bSMOTE)。

结论

算法是数据科学的生命线。

抽样是数据科学中的一个重要课题,但我们实际上并没有讨论得足够多。

有时,一个好的抽样策略会大大推进项目的进展。错误的抽样策略可能会给我们带来错误的结果。因此,在选择抽样策略时应该小心。

如果你想了解更多有关数据科学的知识,我想把 Andrew Ng 的这门优秀课程推荐给你,这个课程是我入门数据科学的法宝,你一定要去看看。

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

(编辑:我爱故事小小网_铜陵站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读