蝙蝠岛资源网 Design By www.hbtsch.com
源起:
1.我要做交叉验证,需要每个训练集和测试集都保持相同的样本分布比例,直接用sklearn提供的KFold并不能满足这个需求。
2.将生成的交叉验证数据集保存成CSV文件,而不是直接用sklearn训练分类模型。
3.在编码过程中有一的误区需要注意:
这个sklearn官方给出的文档
> import numpy as np > from sklearn.model_selection import KFold > X = ["a", "b", "c", "d"] > kf = KFold(n_splits=2) > for train, test in kf.split(X): ... print("%s %s" % (train, test)) [2 3] [0 1] [0 1] [2 3]
我之前犯的一个错误是将train,test理解成原数据集分割成子数据集之后的子数据集索引。而实际上,它就是原始数据集本身的样本索引。
源码:
# -*- coding:utf-8 -*- # 得到交叉验证数据集,保存成CSV文件 # 输入是一个包含正常恶意标签的完整数据集,在读数据的时候分开保存到datasetBenign,datasetMalicious # 分别对两个数据集进行KFold,最后合并保存 from sklearn.model_selection import KFold import csv def writeInFile(benignKFTrain, benignKFTest, maliciousKFTrain, maliciousKFTest, i, datasetBenign, datasetMalicious): newTrainFilePath = "E:\\hadoopExperimentResult\\5KFold\\AllDataSetIIR10\\dataset\\ImbalancedAllTraffic-train-%s.csv" % i newTestFilePath = "E:\\hadoopExperimentResult\\5KFold\\AllDataSetIIR10\\dataset\\IImbalancedAllTraffic-test-%s.csv" % i newTrainFile = open(newTrainFilePath, "wb")# wb 为防止空行 newTestFile = open(newTestFilePath, "wb") writerTrain = csv.writer(newTrainFile) writerTest = csv.writer(newTestFile) for index in benignKFTrain: writerTrain.writerow(datasetBenign[index]) for index in benignKFTest: writerTest.writerow(datasetBenign[index]) for index in maliciousKFTrain: writerTrain.writerow(datasetMalicious[index]) for index in maliciousKFTest: writerTest.writerow(datasetMalicious[index]) newTrainFile.close() newTestFile.close() def getKFoldDataSet(datasetPath): # CSV读取文件 # 开始从文件中读取全部的数据集 datasetFile = file(datasetPath, 'rb') datasetBenign = [] datasetMalicious = [] readerDataset = csv.reader(datasetFile) for line in readerDataset: if len(line) > 1: curLine = [] curLine.append(float(line[0])) curLine.append(float(line[1])) curLine.append(float(line[2])) curLine.append(float(line[3])) curLine.append(float(line[4])) curLine.append(float(line[5])) curLine.append(float(line[6])) curLine.append(line[7]) if line[7] == "benign": datasetBenign.append(curLine) else: datasetMalicious.append(curLine) # 交叉验证分割数据集 K = 5 kf = KFold(n_splits=K) benignKFTrain = []; benignKFTest = [] for train,test in kf.split(datasetBenign): benignKFTrain.append(train) benignKFTest.append(test) maliciousKFTrain=[]; maliciousKFTest=[] for train,test in kf.split(datasetMalicious): maliciousKFTrain.append(train) maliciousKFTest.append(test) for i in range(K): print "======================== "+ str(i)+ " ========================" print benignKFTrain[i], benignKFTest[i] print maliciousKFTrain[i],maliciousKFTest[i] writeInFile(benignKFTrain[i], benignKFTest[i], maliciousKFTrain[i], maliciousKFTest[i], i, datasetBenign, datasetMalicious) datasetFile.close() if __name__ == "__main__": getKFoldDataSet(r"E:\hadoopExperimentResult\5KFold\AllDataSetIIR10\dataset\ImbalancedAllTraffic-10.csv")
以上这篇Python sklearn KFold 生成交叉验证数据集的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
蝙蝠岛资源网 Design By www.hbtsch.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
蝙蝠岛资源网 Design By www.hbtsch.com
暂无Python sklearn KFold 生成交叉验证数据集的方法的评论...
更新日志
2025年04月30日
2025年04月30日
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]