为什么我在Kera vs Random Forest或KNN上得到了不好的结果？ [英] Why I'm getting bad result with Keras vs random forest or knn?

问题描述

我正在使用keras学习深度学习，并尝试将结果(准确性)与机器学习算法(sklearn)(即random forest，k_neighbors)进行比较

似乎使用keras我得到的结果最差。 我正在处理简单的分类问题：iris dataset 我的keras代码看起来是：

samples = datasets.load_iris()
X = samples.data
y = samples.target
df = pd.DataFrame(data=X)
df.columns = samples.feature_names
df['Target'] = y

# prepare data
X = df[df.columns[:-1]]
y = df[df.columns[-1]]

# hot encoding
encoder = LabelEncoder()
y1 = encoder.fit_transform(y)
y = pd.get_dummies(y1).values

# split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3)

# build model
model = Sequential()
model.add(Dense(1000, activation='tanh', input_shape = ((df.shape[1]-1),)))
model.add(Dense(500, activation='tanh'))
model.add(Dense(250, activation='tanh'))
model.add(Dense(125, activation='tanh'))
model.add(Dense(64, activation='tanh'))
model.add(Dense(32, activation='tanh'))
model.add(Dense(9, activation='tanh'))
model.add(Dense(y.shape[1], activation='softmax'))
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(X_train, y_train)
score, acc = model.evaluate(X_test, y_test, verbose=0)

#results:
#score = 0.77
#acc = 0.711

我试着增加层和/或更改每层的单元数和/或更改激活函数(改为relu)，结果似乎不高于0.85。

使用skLearningrandom forest或k_neighbors，我(在同一数据集上)的结果高于0.95。

1. 我错过了什么？

2. sklearn我做的很少，效果很好，keras我升级了很多，但没有sklearn效果好。为什么？

3. 如何才能获得与keras相同的结果？

推荐答案

简而言之，您需要：

1. 重新启动
2. 更简单的模型
3. 数据正规化
4. 更多纪元

详细说明：

这里的第一个问题是，现在我们从不将activation='tanh'用于中间网络层。在这类问题中，我们实际上总是使用activation='relu'。

第二个问题是您构建了一个相当大的KERAS模型，很可能是因为您的训练集中只有100个虹膜样本，数据太少无法有效地训练这么大的模型。尝试大幅减少层数和每层的节点数。开始更简单。

当我们拥有大量数据时，大型神经网络确实会蓬勃发展，但在像这里这样的小数据集情况下，与更简单的算法(如RF或k-nn)相比，它们的表现力和灵活性可能会成为不利因素。

第三个问题是，与基于树的模型(如随机森林)相比，神经网络通常需要对数据进行标准化，而您不需要这样做。事实是，KNN也需要归一化数据，但在这种特殊情况下，由于所有虹膜特征都在相同的尺度上，因此不会对性能产生负面影响。

最后但并非最不重要的一点是，您似乎只为一个时期运行Kera模型(如果您没有在model.fit中指定任何内容，则为默认值)；这在某种程度上相当于使用单个树(btw，仍然是much better than a single decision tree)构建随机林。

总而言之，代码中有以下更改：

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform(X_test)

model = Sequential()
model.add(Dense(150, activation='relu', input_shape = ((df.shape[1]-1),)))
model.add(Dense(150, activation='relu'))
model.add(Dense(y.shape[1], activation='softmax'))

model.fit(X_train, y_train, epochs=100)

以及其他所有内容，我们得到：

score, acc = model.evaluate(X_test, y_test, verbose=0)
acc
# 0.9333333373069763

我们可以做得更好：使用更多的稍微训练数据并将其分层，即

X_train, X_test, y_train, y_test = train_test_split(X, y, 
                                                    test_size = 0.20, # a few more samples for training
                                                    stratify=y)

并且使用相同的模型&；训练纪元，您可以在测试集中获得完美1.0的准确率：

score, acc = model.evaluate(X_test, y_test, verbose=0)
acc
# 1.0

(由于此类实验中默认施加的某些随机性，详细信息可能会有所不同)。

这篇关于为什么我在Kera vs Random Forest或KNN上得到了不好的结果？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！