在DaskARRAY-PYTHON上使用SCRICKIT-LINE COSINE_SIMPLIZATION [英] using scikit-learn cosine_similarity on Dask array- python
本文介绍了在DaskARRAY-PYTHON上使用SCRICKIT-LINE COSINE_SIMPLIZATION的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我让Dask来处理内存中无法容纳的大型向量数组，并使用SCRICKIT-LINE COSING_SIMPLIZATION来计算这些向量之间的余弦相似度，即：
import dask.array as da
from sklearn.metrics.pairwise import cosine_similarity
vectors = da.from_array(vectors, 10000)
sims_mat = cosine_similarity(vectors)
运行良好，但我不确定通过这种方式使用DASK是否有任何好处，或者我应该为DASK数组寻找余弦相似函数
推荐答案
在我看来这应该很好，因为如果您查看DASK和SKLEAR的文档，您会发现这两者都是在使用并行处理的NumPy之上构建的。
如果您真的只想使用DASK，您可以查看此回购： https://pypi.python.org/pypi/dask-distance它包括余弦相似性函数。
这篇关于在DaskARRAY-PYTHON上使用SCRICKIT-LINE COSINE_SIMPLIZATION的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
