Sklearn.eline中的LeaveOneOutEncode [英] LeaveOneOutEncoder in sklearn.pipeline

问题描述

我使用LeaveOneOutEncode创建了一个管道。当然，我用了一个玩具的例子。Leave One Out用于转换类别变量

import pandas as pd
import numpy as np
from sklearn import preprocessing
import sklearn
from sklearn.pipeline import Pipeline
from sklearn.pipeline import FeatureUnion
from category_encoders import  LeaveOneOutEncoder
from sklearn import linear_model
from sklearn.base import BaseEstimator, TransformerMixin

df= pd.DataFrame({ 'y': [1,2,3,4,5,6,7,8], 'a': ['a', 'b','a', 'b','a', 'b','a', 'b' ], 'b': [5,5,3,4,8,6,7,3],})

class ItemSelector(BaseEstimator, TransformerMixin):
def __init__(self, key):
    self.key = key
def fit(self, x, y=None):
    return self
def transform(self, data_dict):
    return data_dict[self.key]

class MyLEncoder(BaseEstimator, TransformerMixin):
def transform(self, X, **fit_params):
    enc = LeaveOneOutEncoder()
    encc = enc.fit(np.asarray(X), y)
    enc_data = encc.transform(np.asarray(X))
    return enc_data
def fit_transform(self, X,y=None,  **fit_params):
    self.fit(X,y,  **fit_params)
    return self.transform(X)
def fit(self, X, y, **fit_params):
    return self


X = df[['a', 'b']]
y = df['y']

regressor = linear_model.SGDRegressor()

pipeline = Pipeline([

    # Use FeatureUnion to combine the features
    ('union', FeatureUnion(
        transformer_list=[


             # categorical
            ('categorical', Pipeline([
                ('selector', ItemSelector(key='a')),
                ('one_hot', MyLEncoder())

            ])),
             # year

        ])),
    # Use a regression
    ('model_fitting', linear_model.SGDRegressor()),
])

pipeline.fit(X, y)
pipeline.predict(X)

我在列车和测试数据上使用它时，这些都是正确的！但当我尝试预测新数据时，出现错误

pipeline.predict(pd.DataFrame({ 'y': [3, 8], 'a': ['a', 'b' ], 'b': [3, 6],}))

帮助查找错误！这个错误肯定很简单，但我的眼睛湿透了。问题一定出在MyLEncoder类中。我必须更改什么？

推荐答案

您正在呼叫

encc = enc.fit(np.asarray(X), y)

在MyLEncoder的transform()方法中。

所以这里有几个问题：

1)您的LeaveOneOutEncoder只记住传递给MyLEncoder的transform的最后数据，而忘记了以前的数据。

2)试衣时LeaveOneOutEncoder要求y在场。但当MyLEncodertransform()被调用时，这在预测期间不会出现。

3)当前您的线路：

pipeline.predict(X)

是靠运气工作的，因为您的X是相同的，当调用MyLEncodertransform()时，您已经定义了y，所以使用它。但这是错误的。

4)不相关的事情(可能不会称其为错误)。执行此操作时：

pipeline.predict(pd.DataFrame({ 'y': [3, 8], 'a': ['a', 'b' ], 'b': [3, 6],}))

pipeline.predict()只需要X，不需要y。但您也在其中发送了y。目前这不是问题，因为在管道中，您只使用a列并丢弃所有信息，但可能在复杂的设置中，这可能会漏掉，并且y列中的数据将被用作功能(X数据)，这将给您错误的结果。

若要解决此问题，请将MyLEncoder更改为：

class MyLEncoder(BaseEstimator, TransformerMixin):

    # Save the enc during fitting
    def fit(self, X, y, **fit_params):
        enc = LeaveOneOutEncoder()
        self.enc = enc.fit(np.asarray(X), y)

        return self

    # Here, no new learning should be done, so never call fit() inside this
    # Only use the already saved enc here
    def transform(self, X, **fit_params):

        enc_data = self.enc.transform(np.asarray(X))
        return enc_data

    # No need to define this function, if you are not doing any optimisation in it.
    # It will be automatically inherited from TransformerMixin
    # I have only kept it here, because you kept it.
    def fit_transform(self, X,y=None, **fit_params):
        self.fit(X, y, **fit_params)
        return self.transform(X)

现在执行此操作时：

pipeline.predict(pd.DataFrame({ 'y': [3, 8], 'a': ['a', 'b' ], 'b': [3, 6],}))

您不会收到任何错误，但仍如第4点所述，我希望您这样做：

new_df = pd.DataFrame({ 'y': [3, 8], 'a': ['a', 'b' ], 'b': [3, 6],})

new_X = new_df[['a', 'b']]
new_y = new_df['y']

pipeline.predict(new_X)

使训练时间中使用的X和预测时间中使用的new_X看起来相同。

这篇关于Sklearn.eline中的LeaveOneOutEncode的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！