Surprise库基础用法

2019-02-16

本文为python的推荐系统搭建工具库Surprise之Surprise基础用法的官方文档自译版，所有代码都实际编译通过，仅供参考交流。

1. 自动交叉验证

Surprise工具库拥有一系列内置函数和数据集供你使用，它强大到你只需要简单地写几行代码就能使用交叉验证法。

from surprise import SVD
from surprise import Dataset
from surprise.model_selection import cross_validate

# 载入movielens-100k数据集（如果不存在，则会自动下载）
data = Dataset.load_builtin('ml-100k')

# 将使用SVD算法
algo = SVD()

# 进行5折交叉验证并打印出结果，评价指标为RMSE———均方根误差、MAE———平均绝对误差
cross_validate(algo, data, measures=['RMSE', 'MAE'], cv=5, verbose=True)

结果如下：

Evaluating RMSE, MAE of algorithm SVD on 5 split(s).

                  Fold 1  Fold 2  Fold 3  Fold 4  Fold 5  Mean    Std     
RMSE (testset)    0.9322  0.9398  0.9348  0.9363  0.9357  0.9357  0.0025  
MAE (testset)     0.7378  0.7388  0.7357  0.7367  0.7393  0.7377  0.0013  
Fit time          4.98    4.87    4.83    5.16    4.99    4.97    0.12    
Test time         0.16    0.14    0.15    0.19    0.16    0.16    0.02

如果数据集movielens-100k不存在，函数load_builtin()会自动下载数据集(需联网)，并将其保存在你的用户根目录的.surprise_data文件夹下。（你也可以指定别的保存目录）。

除了著名的SVD算法，你还能使用其他的算法，如KNN、NMF、CoClustering等。

cross_validate()函数实现cv折交叉验证功能，并计算一些精度评价指标，verbose=True表示打印出结果。上面使用5折交叉验证，你也可以使用更高级的交叉验证迭代器（p次k折交叉验证法）。

2. 训练集-测试集划分和拟合函数fit()

如果不想进行交叉验证法，也可以使用train_test_split()将测试集与训练集划按你给定大小进行划分，并使用选定的精度评价指标。fit()函数将在训练集上使用算法，test()函数返回在测试集中的预测：

from surprise import SVD
from surprise import Dataset
from surprise import accuracy
from surprise.model_selection import train_test_split

# 载入movielens-100k数据集（如果不存在，则会自动下载）
data = Dataset.load_builtin('ml-100k')

# 随机抽取训练集和测试集，测试集占总数据集的25%
trainset, testset = train_test_split(data, test_size=.25)

# 将使用SVD算法
algo = SVD()

# 用训练集训练模型，用测试集来得到评级结果
algo.fit(trainset)
predictions = algo.test(testset)

# 计算均方根误差RMSE
accuracy.rmse(predictions)

结果如下：

1	RMSE: 0.9436

也可以使用一行代码来实现训练和测试算法：

1	predictions = algo.fit(trainset).test(testset)

3. 训练整个数据集和predict()预测函数

显然，我们也可以简单地将算法拟合到整个数据集。使用build_full_trainset()方法来实现，然后通过直接调用predict()方法来预测正确率，假如使用：“user id:196, item id:302，电影评级:4”来验证(确保训练集中包含这个)。

from surprise import KNNBasic
from surprise import Dataset

# 载入movielens-100k数据集（如果不存在，则会自动下载）
data = Dataset.load_builtin('ml-100k')

# 取回训练集
trainset = data.build_full_trainset()

# 构建算法并训练
algo = KNNBasic()
algo.fit(trainset)

uid = str(196)
iid = str(302)

# 获取指定用户和电影的评级结果
pred = algo.predict(uid, iid, r_ui=4, verbose=True)

结果如下：

1
2
3

Computing the msd similarity matrix...
Done computing similarity matrix.
user: 196        item: 302        r_ui = 4.00   est = 4.06   {'actual_k': 40, 'was_impossible': False}

注意：predict()使用原始id（原id和内部id的区别以后再详细说明）。由于使用的数据集是从文件中读取，因此原始ID是字符串（即使它们代表数字）。

4. 自定义数据集

Surprise工具库拥有有一系列内置数据集，但是你也可以使用自定义数据集。

目前为止介绍的都是内置的数据集，也可以使用自定义数据集，你可以从文件（例如csv文件）或从pandas数据帧中加载评级数据集。无论哪种方式，您都需要为Surprise定义一个Reader对象，以便能够解析文件或数据帧。

为了从文件（例如csv文件）中加载数据集，你需要使用load_from_file()方法：

import os
from surprise import BaselineOnly
from surprise import Dataset
from surprise import Reader
from surprise.model_selection import cross_validate

# 数据集文件路径
file_path = os.path.expanduser('~/.surprise_data/ml-100k/ml-100k/u.data')

# 我们需要定义一个reader来加载自定义数据集。在movielens-100k数据集中，每行是如下形式：
# 'user' 'item' 'rating' 'timestamp', 用'\ t'字符分隔
reader = Reader(line_format='user item rating timestamp', sep='\t')
data = Dataset.load_from_file(file_path, reader=reader)

# 我们现在可以随意使用此数据集，例如 调用cross_validate：
cross_validate(BaselineOnly(), data, verbose=True)

结果如下：

Estimating biases using als...
Estimating biases using als...
Estimating biases using als...
Estimating biases using als...
Estimating biases using als...
Evaluating RMSE, MAE of algorithm BaselineOnly on 5 split(s).

                  Fold 1  Fold 2  Fold 3  Fold 4  Fold 5  Mean    Std     
RMSE (testset)    0.9498  0.9505  0.9392  0.9433  0.9375  0.9440  0.0053  
MAE (testset)     0.7521  0.7535  0.7449  0.7479  0.7444  0.7485  0.0037  
Fit time          0.17    0.20    0.24    0.19    0.20    0.20    0.02    
Test time         0.14    0.11    0.11    0.11    0.11    0.12    0.01

正如您在上一节中已经知道的那样，movielens-100k数据集是内置的，因此加载数据集的更快的方法是执行data = Dataset.load_builtin('ml-100k')。在此处请忽略这一点。

为了从pandas数据帧中加载数据集，你需要使用load_frim_df()方法，也要使用Reader类，但是只有rating_scale参数必须指定。数据帧必须有三列，对应于用户（原始）ID，项目（原始）ID以及此顺序中的评级。因此，每行对应于给定的评级。因为您可以轻松地重新排序数据帧的列。

import pandas as pd

from surprise import NormalPredictor
from surprise import Dataset
from surprise import Reader
from surprise.model_selection import cross_validate

# 创建数据帧，字典原子无序，所以列名无关紧要
ratings_dict = {'itemID': [1, 1, 1, 2, 2],
                'userID': [9, 32, 2, 45, 'user_foo'],
                'rating': [3, 2, 4, 3, 1]}
df = pd.DataFrame(ratings_dict)

# 只有rating_scale(评分范围1~5分)参数被指定时才需要用到reader
reader = Reader(rating_scale=(1, 5))

# 列必须对应于用户ID，项目ID和评级（按此顺序）
data = Dataset.load_from_df(df[['userID', 'itemID', 'rating']], reader)

# 我们现在可以随意使用此数据集，例如 调用cross_validate
cross_validate(NormalPredictor(), data, cv=2, verbose=True)

结果如下：

Evaluating RMSE, MAE of algorithm NormalPredictor on 2 split(s).

                  Fold 1  Fold 2  Mean    Std     
RMSE (testset)    1.1808  1.5973  1.3890  0.2083  
MAE (testset)     1.1364  1.5737  1.3551  0.2186  
Fit time          0.00    0.00    0.00    0.00    
Test time         0.00    0.00    0.00    0.00

数据帧最初看起来像这样：

      itemID  rating    userID
0       1       3         9
1       1       2        32
2       1       4         2
3       2       3        45
4       2       1  user_foo

5. 使用交叉验证法迭代器

为了更好的评估模型，我们还可以实现交叉验证迭代器（p次k折交叉验证）。对split()方法划分的每个迭代器都使用test()方法进行预测。

from surprise import SVD
from surprise import Dataset
from surprise import accuracy
from surprise.model_selection import KFold

# 载入movielens-100k数据集（如果不存在，则会自动下载）
data = Dataset.load_builtin('ml-100k')

# 定义几次几折交叉验证迭代
kf = KFold(n_splits=3)

algo = SVD()

for trainset, testset in kf.split(data):
    # 训练和测试算法
    algo.fit(trainset)
    predictions = algo.test(testset)

    # 计算和打印均方根误差
    accuracy.rmse(predictions, verbose=True)

结果如下：

1
2
3

RMSE: 0.9421
RMSE: 0.9504
RMSE: 0.9447

其他的交叉验证法如LeaveOneOut（留一法）和 ShuffleSplit（打散组合法）将样本集合随机“打散”后划分为训练集、测试集）也能使用。Surprise的交叉验证工具的设计灵感来自优秀的scikit-learn API。

训练集和测试集分别预定义成文件的情况是交叉验证的一个特例。例如movielens-100K数据集已经提供了5个训练文件和5个测试文件(u1.base,u1.test,…,u5.base,u5.test)。可以使用surprise.mode_selection.split.PredefinedKFold对象来解决这种情况：

import os
from surprise import SVD
from surprise import Dataset
from surprise import Reader
from surprise import accuracy
from surprise.model_selection import PredefinedKFold

# 数据集文件夹位置
files_dir = os.path.expanduser('~/.surprise_data/ml-100k/ml-100k/')

# 这次，使用内置函数Reader读取数据
reader = Reader('ml-100k')

# 定义folds_files为包含文件路径的元组列表：
# [(u1.base, u1.test), (u2.base, u2.test),...(u5.base, u5.test)]
train_file = files_dir + 'u%d.base'
test_file = files_dir + 'u%d.test'
folds_files = [(train_file % i, test_file % i) for i in (1, 2, 3, 4, 5)]

# 分别载入数据集
data = Dataset.load_from_folds(folds_files, reader=reader)
pkf = PredefinedKFold()

algo = SVD()

for trainset, testset in pkf.split(data):
    # 训练和测试
    algo.fit(trainset)
    predictions = algo.test(testset)

    # 计算和打印均方根误差
    accuracy.rmse(predictions, verbose=True)

结果如下：

RMSE: 0.9494
RMSE: 0.9390
RMSE: 0.9332
RMSE: 0.9319
RMSE: 0.9303

当然，您也可以只加载单个文件进行训练和加载单个文件进行测试。但是，folds_files参数仍然需要是一个列表的形式。

6. 使用GridSearchCV调参

cross_validate()函数输出给定参数集的交叉验证过程的准确度度量。如果您想知道哪个参数组合产生最佳结果，可以使用GridSearchCV类。给定拥有一些参数的字典，该类将详尽地尝试所有参数组合并报告任何精度测量的最佳参数（在不同的分割上取平均值）。

下面为我们为SVD算法的参数n_epochs，lr_all和reg_all调参的例子：

from surprise import SVD
from surprise import Dataset
from surprise.model_selection import GridSearchCV

# 载入movielens-100k数据集（如果不存在，则会自动下载）
data = Dataset.load_builtin('ml-100k')

# 指定参数选择范围
param_grid = {'n_epochs': [5, 10], 'lr_all': [0.002, 0.005],
              'reg_all': [0.4, 0.6]}

gs = GridSearchCV(SVD, param_grid, measures=['rmse', 'mae'], cv=3)

gs.fit(data)

# 打印最好的均方根误差RMSE
print(gs.best_score['rmse'])

# 打印取得最好RMSE的参数集合
print(gs.best_params['rmse'])

# 现在可以使用产生最佳RMSE的算法
algo = gs.best_estimator['rmse']
algo.fit(data.build_full_trainset())

结果如下：

1 2	0.9641039203035255 {'n_epochs': 10, 'lr_all': 0.005, 'reg_all': 0.4}

一旦调用了fit()，best_estimator属性就会为我们提供一个具有最佳参数集的算法实例。在此使用3折交叉验证法评估平均RMSE和MAE，也可以使用任何交叉验证迭代器。

注意：字典参数（例如bsl_options和sim_options）需要特殊处理。见下面的用法示例：

param_grid = {'k': [10, 20],
              'sim_options': {'name': ['msd', 'cosine'],
                              'min_support': [1, 5],
                              'user_based': [False]}
              }

当然，两者可以组合，例如在KNNBaseline算法中：

param_grid = {'bsl_options': {'method': ['als', 'sgd'],
                              'reg': [1, 2]},
              'k': [2, 3],
              'sim_options': {'name': ['msd', 'cosine'],
                              'min_support': [1, 5],
                              'user_based': [False]}
              }

进一步分析，cv_results属性所有的信息可以导出为pandas数据帧，并保存为.csv文件：

1 2	results_df = pd.DataFrame.from_dict(gs.cv_results) results_df.to_csv('cv_result.csv')

7. 命令行使用方法

Surprise也可以在终端命令行(Terminal command line)中使用，如下：

1	>surprise -algo SVD -params "{'n_epochs': 5, 'verbose': True}" -load-builtin ml-100k -n-folds 3

结果如下：

Processing epoch 0
Processing epoch 1
Processing epoch 2
Processing epoch 3
Processing epoch 4
Processing epoch 0
Processing epoch 1
Processing epoch 2
Processing epoch 3
Processing epoch 4
Processing epoch 0
Processing epoch 1
Processing epoch 2
Processing epoch 3
Processing epoch 4
Evaluating RMSE, MAE of algorithm SVD on 3 split(s).

                  Fold 1  Fold 2  Fold 3  Mean    Std
RMSE (testset)    0.9663  0.9657  0.9580  0.9633  0.0038
MAE (testset)     0.7668  0.7665  0.7636  0.7656  0.0014
Fit time          1.04    1.06    1.07    1.06    0.01
Test time         0.26    0.25    0.25    0.25    0.00

更多细节通过输入surprise -h指令得到:

>surprise -h
usage: surprise [-h] [-algo <prediction algorithm>]
                [-params <algorithm parameters>]
                [-load-builtin <dataset name>] [-load-custom <file path>]
                [-folds-files <train1 test1 train2 test2... >]
                [-reader <reader>] [-n-folds <number of folds>]
                [-seed <random seed>] [--with-dump] [-dump-dir <dir>]
                [--clean] [-v]

Evaluate the performance of a rating prediction algorithm on a given dataset
using cross validation. You can use a built-in or a custom dataset, and you
can choose to automatically split the dataset into folds, or manually specify
train and test files. Please refer to the documentation page
(http://surprise.readthedocs.io/) for more details.

optional arguments:
  -h, --help            show this help message and exit
  -algo <prediction algorithm>
                        The prediction algorithm to use. Allowed values are
                        NormalPredictor, BaselineOnly, KNNBasic, KNNBaseline,
                        KNNWithMeans, SVD, SVDpp, NMF, SlopeOne, CoClustering.
  -params <algorithm parameters>
                        A kwargs dictionary that contains all the algorithm
                        parameters.Example: "{'n_epochs': 10}".
  -load-builtin <dataset name>
                        The name of the built-in dataset to use.Allowed values
                        are ml-100k, ml-1m, jester. Default is ml-100k.
  -load-custom <file path>
                        A file path to custom dataset to use. Ignored if
                        -loadbuiltin is set. The -reader parameter needs to be
                        set.
  -folds-files <train1 test1 train2 test2... >
                        A list of custom train and test files. Ignored if
                        -load-builtin or -load-custom is set. The -reader
                        parameter needs to be set.
  -reader <reader>      A Reader to read the custom dataset. Example:
                        "Reader(line_format='user item rating timestamp',
                        sep='\t')"
  -n-folds <number of folds>
                        The number of folds for cross-validation. Default is
                        5.
  -seed <random seed>   The seed to use for RNG. Default is the current system
                        time.
  --with-dump           Dump the algorithm results in a file (one file per
                        fold). Default is False.
  -dump-dir <dir>       Where to dump the files. Ignored if with-dump is not
                        set. Default is
                        C:\Users\Eleven_Zou/.surprise_data/dumps/
  --clean               Remove the C:\Users\Eleven_Zou/.surprise_data/
                        directory and exit.
  -v, --version         show program's version number and exit

Example: surprise -algo SVD -params "{'n_epochs': 5, 'verbose': True}" -load-
builtin ml-100k -n-folds 3

本文作者： ElevenZou
本文链接： https://elevenzou.github.io/2019/02/16/Surprise库基础用法/
版权声明： 本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。转载请注明出处！