Spark Python：标准缩放错误“不支持... SparseVector” [英] Spark Python: Standard scaler error "Do not support ... SparseVector"
本文介绍了Spark Python：标准缩放错误“不支持... SparseVector”的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我从一个数据集开始，看起来像这样：
，user_account_id，user_lifetime，user_no_outgoing_activity_in_days，user_account_balance_last，user_spendings，reloads_inactive_days，reloads_count，reloads_sum，calls_outgoing_count，calls_outgoing_spendings，calls_outgoing_duration，calls_outgoing_spendings_max，calls_outgoing_duration_max，calls_outgoing_inactive_days，calls_outgoing_to_onnet_count，calls_outgoing_to_onnet_spendings，calls_outgoing_to_onnet_duration ，calls_outgoing_to_onnet_inactive_days，calls_outgoing_to_offnet_count，calls_outgoing_to_offnet_spendings，calls_outgoing_to_offnet_duration，calls_outgoing_to_offnet_inactive_days，calls_outgoing_to_abroad_count，calls_outgoing_to_abroad_spendings，calls_outgoing_to_abroad_duration，calls_outgoing_to_abroad_inactive_days，sms_outgoing_count，sms_outgoing_spendings，sms_outgoing_spendings_max，sms_outgoing_inactive_days，sms_outgoing_to _onnet_count，sms_outgoing_to_onnet_spendings，sms_outgoing_to_onnet_inactive_days，sms_outgoing_to_offnet_count，sms_outgoing_to_offnet_spendings，sms_outgoing_to_offnet_inactive_days，sms_outgoing_to_abroad_count，sms_outgoing_to_abroad_spendings，sms_outgoing_to_abroad_inactive_days，sms_incoming_count，sms_incoming_spendings，sms_incoming_from_abroad_count，sms_incoming_from_abroad_spendings，gprs_session_count，gprs_usage，gprs_spendings，gprs_inactive_days，last_100_reloads_count，last_100_reloads_sum，last_100_calls_outgoing_duration，last_100_calls_outgoing_to_onnet_duration，last_100_calls_outgoing_to_offnet_duration，last_100_calls_outgoing_to_abroad_duration，last_100_sms_outgoing_count，last_100_sms_outgoing_to_onnet_count， last_100_sms_outgoing_to_offnet_count，last_100_sms_outgoing_to_abroad_count，last_100_gprs_usage，user_intake，user_has_outgoing_calls，user_has_outgoing_sms，user_use_gprs，user_does_reload，n_months，month，churn
0,1031,947.0,0.3333333333333333,10.993333333333334,10.3,12.0,1.33333 33333333333,10.013333333333334,83.66666666666667,5.859999999999999,55.69,0.5966666666666667,10.333333333333334,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,23.333333333333332,2.8833333333333333,25.0,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,135.33333333333334,4.44,0.06,0.3333333333333333,16.333333333333332， 0.98,0.3333333333333333,57.666666666666664,3.4599999999999995,0.3333333333333333,0.0,0.0,0.3333333333333333,14.0,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,5.666666666666667,22.01666666666667,130.48,0.0,65.33333333333333,0.0,287.3333333333333,34.0,113.66666666666667， 0.0,0.0,0,1,1,0,1,3,9,0
1,4231,951.0,1.3333333333333333,27.546666666666667,6.45,22.0,1.0,12.013333333333334,46.333333333333336,6.45,47.150000000000006,1.3233333333333333,8.81 ，1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,31.666666666666668,6.400000000000001,42.656666666666666,1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,0.6666666666666666,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0 ，57.0,10.66666666666666 6,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,4.0,32.026666666666664,156.96666666666667,0.0,145.42999999999998,0.0,1.6666666666666667,0.0,0.3333333333333333,0.0,0.0,0,1,1,0,1,3， 9,0
2,5231,523.0,0.666666666666666,14.62,1.0999999999999999,1307.0,0.0,0.0,14.333333333333334,1.0999999999999999,7.573333333333333,0.7266666666666666,4.84,0.6666666666666666,0.0,0.0,0.0,0.666666666666666,8.333333333333334,0.3233333333333333,2.1566666666666667 ，0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,0.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,8.333333333333334,0.0,0.0,0.0,0.0,0.0,0.0 ，1307.0,0.0,0.0,47.330000000000005,0.0,10.356666666666667,0.0,0.0,0.0,0.0,0.0,0.0,0,1,0,0,0,3,9,0
我的代码如下所示：
ca1DF =（
sqlContext.read.load（merged.csv，format =com.databricks.spark.csv，header = True，inferSchema = True）
.rdd.toDF（[ user_account_id，user_lifetime，user_no_outgoing_activity_in_days，user_account_balan ce_last，user_spendings，oads_inactive_days，oads_count，oads_sum，call_outgoing_count，call_outgoing_spendings，calls_outgoing_duration，calling_outgoing_spendings_max，calling_outgoing_duration_max，calling_outgoing_inactive_days，calls_outgoing_to_onnet_count，calling_outgoing_to_onnet_spendings calls_outgoing_to_onnet_duration， calls_outgoing_to_onnet_inactive_days， calls_outgoing_to_offnet_count， calls_outgoing_to_offnet_spendings， calls_outgoing_to_offnet_duration， calls_outgoing_to_offnet_inactive_days， calls_outgoing_to_abroad_count， calls_outgoing_to_abroad_spendings， calls_outgoing_to_abroad_duration， calls_outgoing_to_abroad_inactive_days， sms_outgoing_count， sms_outgoing_spendings， sms_outgoing_spendings_max，sms_outgoing_inactive_days，sms_outgoing_to_onnet_count，sms_outgoing_to_onnet_spendings，sms_outgoing_to_onnet_inactive_days，sms_outgoing_to_offnet_count，sms_outgoing_to_offnet_spendings，sms_outgoi ng_to_offnet_inactive_days， sms_outgoing_to_abroad_count， sms_outgoing_to_abroad_spendings， sms_outgoing_to_abroad_inactive_days， sms_incoming_count， sms_incoming_spendings， sms_incoming_from_abroad_count， sms_incoming_from_abroad_spendings， gprs_session_count， gprs_usage， gprs_spendings， gprs_inactive_days， last_100_reloads_count last_100_reloads_sum， last_100_calls_outgoing_duration， last_100_calls_outgoing_to_onnet_duration， last_100_calls_outgoing_to_offnet_duration， last_100_calls_outgoing_to_abroad_duration， last_100_sms_outgoing_count， last_100_sms_outgoing_to_onnet_count， last_100_sms_outgoing_to_offnet_count， last_100_sms_outgoing_to_abroad_count， last_100_gprs_usage， user_intake， user_has_outgoing_calls， user_has_outgoing_sms，user_use_gprs，user_does_reload，n_months，churn]）
）.cache（）
ca1DF.show（5）
| user_account_id | user_lifetime | user_no_outgoing_activity_in_days | user_account_balance_last | user_spendings | reloads_inactive_days | reloads_count | reloads_sum | calls_outgoing_count | calls_outgoing_spendings | calls_outgoing_duration | calls_outgoing_spendings_max | calls_outgoing_duration_max | calls_outgoing_inactive_days | calls_outgoing_to_onnet_count | calls_outgoing_to_onnet_spendings | calls_outgoing_to_onnet_duration | calls_outgoing_to_onnet_inactive_days | calls_outgoing_to_offnet_count | calls_outgoing_to_offnet_spendings | calls_outgoing_to_offnet_duration | calls_outgoing_to_offnet_inactive_days | calls_outgoing_to_abroad_count | calls_outgoing_to_abroad_spendings | calls_outgoing_to_abroad_duration | calls_outgoing_to_abroad_inactive_days | sms_outgoing_count | sms_outgoing_spendings | sms_outgoing_spendings_max | sms_outgoing_inactive_days | sms_outgoing_to_onnet_count | sms_outgoing_to_onnet_spendings | sms_outgoing_to_onnet_inactive_days | sms_outgoing_to_offnet_count | sms_outgoing_to_offnet_spendings | sms_outgoing_to_offnet_inactive_days | sms_outgoing_to_abroad_count | sms_outgoing_to_abroad_spendings | sms_outgoing_to_abroad_inactive_days | sms_incoming_count | sms_incomi ng_spendings | sms_incoming_from_abroad_count | sms_incoming_from_abroad_spendings | gprs_session_count | gprs_usage | gprs_spendings | gprs_inactive_days | last_100_reloads_count | last_100_reloads_sum | last_100_calls_outgoing_duration | last_100_calls_outgoing_to_onnet_duration | last_100_calls_outgoing_to_offnet_duration | last_100_calls_outgoing_to_abroad_duration | last_100_sms_outgoing_count | last_100_sms_outgoing_to_onnet_count | last_100_sms_outgoing_to_offnet_count | last_100_sms_outgoing_to_abroad_count | last_100_gprs_usage | user_intake | user_has_outgoing_calls | user_has_outgoing_sms | user_use_gprs | user_does_reload | n_months |流失|一个月|流失|
| 0 | 1031 | 947.0 | 0.3333333333333333 | 10.993333333333334 | 10.3 | 12.0 | 1.3333333333333333 | 10.013333333333334 | 83.66666666666667 | 5.859999999999999 | 55.69 | 0.5966666666666667 | 10.333333333333334 | 0.6666666666666666 | 0.0 | 0.0 | 0.0 | 0.6666666666666666 | 23.333333333333332 | 2.8833333333333333 | 25.0 | 0.6666666666666666 | 0.0 | 0.0 | 0.0 | 0.6666666666666666 | 135.33333333333334 | 4.44 | 0.06 | 0.3333333333333333 | 16.333333333333332 | 0.98 | 0.3333333333333333 | 57.666666666666664 | 3.4599999999999995 | 0.3333333333333333 | 0.0 | 0.0 | 0.3333333333333333 | 14.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1307.0 | 5.666666666666667 | 22.01666666666667 | 130.48 | 0.0 | 65.33333333333333 | 0.0 | 287.3333333333333 | 34.0 | 113.66666666666667 | 0.0 | 0.0 | 0 | 1 | 1 | 0 | 1 | 3 | 9 | 0 |
| 1 | 4231 | 951.0 | 1.3333333333333333 | 27.546666666666667 | 6.45 | 22.0 | 1.0 | 12.013333333333334 | 46.333333333333336 | 6.45 | 47.150000000000006 | 1.3233333333333333 | 8.81 | 1.3333333333333333 | 0.0 | 0.0 | 0.0 | 1.3333333333333333 | 31.666666666666668 | 6.400000000000001 | 42.656666666666666 | 1.3333333333333333 | 0.0 | 0.0 | 0.0 | 1.3333333333333333 | 0.6666666666666666 | 0.0 | 0.0 | 57.0 | 0.0 | 0.0 | 57.0 | 0.0 | 0.0 | 57.0 | 0.0 | 0.0 | 57.0 | 10.666666666666666 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1307.0 | 4.0 | 32.026666666666664 | 156.96666666666667 | 0.0 | 145.42999999999998 | 0.0 | 1.6666666666666667 | 0.0 | 0.3333333333333333 | 0.0 | 0.0 | 0 | 1 | 1 | 0 | 1 | 3 | 9 | 0 |
| 2 | 5231 | 523.0 | 0.6666666666666666 | 14.62 | 1.0999999999999999 | 1307.0 | 0.0 | 0.0 | 14.333333333333334 | 1.0999999999999999 | 7.573333333333333 | 0.7266666666666666 | 4.84 | 0.6666666666666666 | 0.0 | 0.0 | 0.0 | 0.6666666666666666 | 8.333333333333334 | 0.3233333333333333 | 2.1566666666666667 | 0.6666666666666666 | 0.0 | 0.0 | 0.0 | 0.6666666666666666 | 0.0 | 0.0 | 0.0 | 1307.0 | 0.0 | 0.0 | 1307.0 | 0.0 | 0.0 | 1307.0 | 0.0 | 0.0 | 1307.0 | 8.333333333333334 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1307.0 | 0.0 | 0.0 | 47.330000000000005 | 0.0 | 10.356666666666667 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0 | 1 | 0 | 0 | 0 | 3 | 9 | 0 |
from pyspark.ml.feature import StandardScaler，VectorAssembler
assembler = VectorAssembler（inputCols = [user_lifetime，user_no_outgoing_activity_in_days，user_account_balance_last，user_spendings，reloads_inactive_days reloads_count， reloads_sum， calls_outgoing_count， calls_outgoing_spendings， calls_outgoing_duration， calls_outgoing_spendings_max， calls_outgoing_duration_max， calls_outgoing_inactive_days， calls_outgoing_to_onnet_count， calls_outgoing_to_onnet_spendings， calls_outgoing_to_onnet_duration， calls_outgoing_to_onnet_inactive_days， calls_outgoing_to_offnet_count calls_outgoing_to_offnet_spendings， calls_outgoing_to_offnet_duration， calls_outgoing_to_offnet_inactive_days， calls_outgoing_to_abroad_count， calls_outgoing_to_abroad_spendings， calls_outgoing_to_abroad_duration， calls_outgoing_to_abroad_inactive_days， sms_outgoing_count， sms_outgoing_spendings， sms_outgoing_spendings_max，sms_outgoing_inactive_天， sms_outgoing_to_onnet_count， sms_outgoing_to_onnet_spendings， sms_outgoing_to_onnet_inactive_days， sms_outgoing_to_offnet_count， sms_outgoing_to_offnet_spendings， sms_outgoing_to_offnet_inactive_days， sms_outgoing_to_abroad_count， sms_outgoing_to_abroad_spendings， sms_outgoing_to_abroad_inactive_days， sms_incoming_count， sms_incoming_spendings， sms_incoming_from_abroad_count sms_incoming_from_abroad_spendings， gprs_session_count， gprs_usage， gprs_spendings， gprs_inactive_days， last_100_reloads_count， last_100_reloads_sum， last_100_calls_outgoing_duration， last_100_calls_outgoing_to_onnet_duration， last_100_calls_outgoing_to_offnet_duration， last_100_calls_outgoing_to_abroad_duration， last_100_sms_outgoing_count， last_100_sms_outgoing_to_onnet_count，last_100_sms_outgoing_to_offnet_count，last_100_sms_outgoing_to_abroad_count，last_100_gprs_usage，user_intake，user_has_outgoing_calls，user_has_outgoing_sms，user_use_ gprs，user_does_reload]，outputCol =features）
scaler = StandardScaler（withMean = True，withStd = True，inputCol =features，outputCol =scaled_features）
ca1FeaturizedDF =汇编程序。 transform（ca1DF）
ca1FeaturizedDF.show（5）
| user_account_id | user_lifetime | user_no_outgoing_activity_in_days | user_account_balance_last | user_spendings | reloads_inactive_days | reloads_count | reloads_sum | calls_outgoing_count | calls_outgoing_spendings | calls_outgoing_duration | calls_outgoing_spendings_max | calls_outgoing_duration_max | calls_outgoing_inactive_days | calls_outgoing_to_onnet_count | calls_outgoing_to_onnet_spendings | calls_outgoing_to_onnet_duration | calls_outgoing_to_onnet_inactive_days | calls_outgoing_to_offnet_count | calls_outgoing_to_offnet_spendings | calls_outgoing_to_offnet_duration | calls_outgoing_to_offnet_inactive_days | calls_outgoing_to_abroad_count | calls_outgoing_to_abroad_spendings | calls_outgoing_to_abroad_duration | calls_outgoing_to_abroad_inactive_days | sms_outgoing_count | sms_outgoing_spendings | sms_outgoing_spendings_max | sms_outgoing_inactive_days | sms_outgoing_to_onnet_count | sms_outgoing_to_onnet_spendings | sms_outgoing_to_onnet_inactive_days | sms_outgoing_to_offnet_count | sms_outgoing_to_offnet_spendings | sms_outgoing_to_offnet_inactive_days | sms_outgoing_to_abroad_count | sms_outgoing_to_abroad_spendings | sms_outgoing_to_abroad_inactive_days | sms_incoming_count | sms_incomi ng_spendings | sms_incoming_from_abroad_count | sms_incoming_from_abroad_spendings | gprs_session_count | gprs_usage | gprs_spendings | gprs_inactive_days | last_100_reloads_count | last_100_reloads_sum | last_100_calls_outgoing_duration | last_100_calls_outgoing_to_onnet_duration | last_100_calls_outgoing_to_offnet_duration | last_100_calls_outgoing_to_abroad_duration | last_100_sms_outgoing_count | last_100_sms_outgoing_to_onnet_count | last_100_sms_outgoing_to_offnet_count | last_100_sms_outgoing_to_abroad_count | last_100_gprs_usage | user_intake | user_has_outgoing_calls | user_has_outgoing_sms | user_use_gprs | user_does_reload | n_months |流失|一个月|流失|功能|
| 0 | 1031 | 947.0 | 0.3333333333333333 | 10.993333333333334 | 10.3 | 12.0 | 1.3333333333333333 | 10.013333333333334 | 83.66666666666667 | 5.859999999999999 | 55.69 | 0.5966666666666667 | 10.333333333333334 | 0.6666666666666666 | 0.0 | 0.0 | 0.0 | 0.6666666666666666 | 23.333333333333332 | 2.8833333333333333 | 25.0 | 0.6666666666666666 | 0.0 | 0.0 | 0.0 | 0.6666666666666666 | 135.33333333333334 | 4.44 | 0.06 | 0.3333333333333333 | 16.333333333333332 | 0.98 | 0.3333333333333333 | 57.666666666666664 | 3.4599999999999995 | 0.3333333333333333 | 0.0 | 0.0 | 0.3333333333333333 | 14.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1307.0 | 5.666666666666667 | 22.01666666666667 | 130.48 | 0.0 | 65.33333333333333 | 0.0 | 287.3333333333333 | 34.0 | 113.66666666666667 | 0.0 | 0.0 | 0 | 1 | 1 | 0 | 1 | 3 | 9 | 0 | [1031.0,947.0,0.3 ... |
| 1 | 4231 | 951.0 | 1.3333333333333333 | 27.546666666666667 | 6.45 | 22.0 | 1.0 | 12.013333333333334 | 46.333333333333336 | 6.45 | 47.150000000000006 | 1.3233333333333333 | 8.81 | 1.3333333333333333 | 0.0 | 0.0 | 0.0 | 1.3333333333333333 | 31.666666666666668 | 6.400000000000001 | 42.656666666666666 | 1.3333333333333333 | 0.0 | 0.0 | 0.0 | 1.3333333333333333 | 0.6666666666666666 | 0.0 | 0.0 | 57.0 | 0.0 | 0.0 | 57.0 | 0.0 | 0.0 | 57.0 | 0.0 | 0.0 | 57.0 | 10.666666666666666 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1307.0 | 4.0 | 32.026666666666664 | 156.96666666666667 | 0.0 | 145.42999999999998 | 0.0 | 1.6666666666666667 | 0.0 | 0.3333333333333333 | 0.0 | 0.0 | 0 | 1 | 1 | 0 | 1 | 3 | 9 | 0 |（62，[0,1,2,3,4,5，... |
| 2 | 5231 | 523.0 | 0.6666666666666666 | 14.62 | 1.0999999999999999 | 1307.0 | 0.0 | 0.0 | 14.333333333333334 | 1.0999999999999999 | 7.573333333333333 | 0.7266666666666666 | 0.84 | 0.6666666666666666 | 0.0 | 0.0 | 0.0 | 0.6666666666666666 | 8.333333333333334 | 0.3233333333333333 | 2.1566666666666667 | 0.6666666666666666 | 0.0 | 0.0 | 0.0 | 0.66666666666666 | 0.0 | 0.0 | 0.0 | 1307.0 | 0.0 | 0.0 | 1307.0 | 0.0 | 0.0 | 1307.0 | 0.0 | 0.0 | 1307.0 | 8.333333333333334 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1307.0 | 0.0 | 0.0 | 47.330000000000005 | 0.0 | 10.356666666666667 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0 | 1 | 0 | 0 | 0 | 3 | 9 | 0 |（62，[0,1,2,3,4,5，... |
scalerModel = scaler.fit（ca1FeaturizedDF）
ca1FeaturizeScaleddDF = scalerModel.transform（ca1FeaturizedDF）
ca1FeaturizeScaleddDF.show（5）
哪个产生错误：
-------------------------------- -------------------------------------------
Py4JJavaError Traceback（
< ipython-input-24-4a1ada825b56> in< module>（）
1 ca1FeaturizeScaleddDF = scalerModel.transform（ca1FeaturizedDF）
----> 2 ca1FeaturizeScaleddDF.show（5）
/opt/apache-spark/python/pyspark/sql/dataframe.py在show（self，n，truncate）
255 + --- + - ---- +
256
- > 257 print（self._jdf.showString（n，truncate））
258
259 def __repr __（self） ：
/opt/apache-spark/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py __call __（self，* args）
811 answer = self。 gateway_client.s end_command（command）
812 return_value = get_return_value（
- > 813答案，self.gateway_client，self.target_id，self.name）
814
815 temp_args中的temp_arg：
/ opt / apache-spark / python / pyspark / sql /utils.py in deco（* a，** kw）
43 def deco（* a，** kw）：
44 try：
---> 45返回f（* a，** kw）
46除了py4j.protocol.Py4JJavaError作为e：
47 s = e.java_exception.toString（）
/ opt / apache-spark / python / lib / py4j-0.9-src.zip / py4j / protocol.py in get_return_value（answer，gateway_client，target_id，name）
306 raise Py4JJavaError（
307调用{0} {1} {2} .\\\
。
- > 308格式（target_id，。，name），value）
309 else：
310引发Py4JError（
Py4JJavaError：调用o172.showString时发生错误
：org.apache.spark.SparkException：由于阶段失败而导致作业中止：阶段16.0中的任务0失败1次，最近的失败：失败的任务0.0在阶段16.0（TID 20，本地主机）：java.lang.IllegalArgumentException：不支持矢量类型类org.apache.spark.mllib.linalg.SparseVector
在org.apache。 spark.mllib.feature.StandardScalerModel.transform（StandardScale r.scala：150）
在org.apache.spark.ml.feature.StandardScalerModel $$ anonfun $ 2.apply（StandardScaler.scala：141）
在org.apache.spark.ml.feature。 StandardScalerModel $$ anonfun $ 2.apply（StandardScaler.scala：141）
在org.apache.spark.sql.catalyst.expressions.GeneratedClass $ SpecificUnsafeProjection.apply（未知来源）
在org.apache.spark .sql.execution.Project $$ anonfun $ 1 $$ anonfun $ apply $ 1.apply（basicOperators.scala：51）
在org.apache.spark.sql.execution.Project $$ anonfun $ 1 $$ anonfun $ apply $ 1.apply（basicOperators.scala：49）
错误和数据缩短。
显然，我不知道这是什么意思或者是如何解决它。
我试图做一个k - 从不同数据集的示例的模型。
谢谢！
圣诞快乐！
解决方案
这是因为在Spark 1.x StandardScaler 不能用于转换 SparseVector withMean 。在Spark 2.0中修改了此行为，如果请求中心，向量将转换为 DenseVector 。
在Spark中1.x您必须手动处理：
from pyspark.mllib.linalg import SparseVector，DenseVector，VectorUDT
从pyspark.sql.functions import udf
as_dense = udf（
lambda v：DenseVector（v.toArray（））如果v不是否其他无，
VectorUDT （）
）
使用示例：
pre>
df = sc.parallelize（[
（1，SparseVector（5，[0,3]，[1.0，-1.0]））
] ）.toDF（[id，features]）
scaler = StandardScaler（
withMean = True，withStd = True，inputCol =features，outputCol =scaled_features
）
scaler.fit（df）.transform（df）.show（1）
...错误执行器：阶段31.0中的任务6.0中的异常（TID 68）
java.lang.IllegalArg umentException：不支持向量类型org.apache.spark.mllib.linalg.SparseVector
在org.apache.spark.mllib.feature.StandardScalerModel.transform（StandardScaler.scala：150）
df_dense = df.withColumn（features，as_dense （feature））
scaler.fit（df_dense）.transform（df_dense）.show（1）
+ --- + -------------------- + -------------------- +
| ID |功能| scaled_features |
+ --- + -------------------- + -------------------- +
| 1 | [1.0,0.0,0.0，-1.0 ... | [0.0,0.0,0.0,0.0，... |
+ --- + -------------------- + -------------------- +
在您使用的侧面注释重命名逻辑不正确且效率低下。如果要删除索引列，请选择应该足够：
ca1DF = sqlContext.read.load（...）select（
[user_account_id，user_lifetime，...churn]
）
I hit the block wall again. I am a total newbie so I have to rely on your mighty knowledge again.
I was starting with a dataset, looking like this:
,user_account_id,user_lifetime,user_no_outgoing_activity_in_days,user_account_balance_last,user_spendings,reloads_inactive_days,reloads_count,reloads_sum,calls_outgoing_count,calls_outgoing_spendings,calls_outgoing_duration,calls_outgoing_spendings_max,calls_outgoing_duration_max,calls_outgoing_inactive_days,calls_outgoing_to_onnet_count,calls_outgoing_to_onnet_spendings,calls_outgoing_to_onnet_duration,calls_outgoing_to_onnet_inactive_days,calls_outgoing_to_offnet_count,calls_outgoing_to_offnet_spendings,calls_outgoing_to_offnet_duration,calls_outgoing_to_offnet_inactive_days,calls_outgoing_to_abroad_count,calls_outgoing_to_abroad_spendings,calls_outgoing_to_abroad_duration,calls_outgoing_to_abroad_inactive_days,sms_outgoing_count,sms_outgoing_spendings,sms_outgoing_spendings_max,sms_outgoing_inactive_days,sms_outgoing_to_onnet_count,sms_outgoing_to_onnet_spendings,sms_outgoing_to_onnet_inactive_days,sms_outgoing_to_offnet_count,sms_outgoing_to_offnet_spendings,sms_outgoing_to_offnet_inactive_days,sms_outgoing_to_abroad_count,sms_outgoing_to_abroad_spendings,sms_outgoing_to_abroad_inactive_days,sms_incoming_count,sms_incoming_spendings,sms_incoming_from_abroad_count,sms_incoming_from_abroad_spendings,gprs_session_count,gprs_usage,gprs_spendings,gprs_inactive_days,last_100_reloads_count,last_100_reloads_sum,last_100_calls_outgoing_duration,last_100_calls_outgoing_to_onnet_duration,last_100_calls_outgoing_to_offnet_duration,last_100_calls_outgoing_to_abroad_duration,last_100_sms_outgoing_count,last_100_sms_outgoing_to_onnet_count,last_100_sms_outgoing_to_offnet_count,last_100_sms_outgoing_to_abroad_count,last_100_gprs_usage,user_intake,user_has_outgoing_calls,user_has_outgoing_sms,user_use_gprs,user_does_reload,n_months,month,churn
0,1031,947.0,0.3333333333333333,10.993333333333334,10.3,12.0,1.3333333333333333,10.013333333333334,83.66666666666667,5.859999999999999,55.69,0.5966666666666667,10.333333333333334,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,23.333333333333332,2.8833333333333333,25.0,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,135.33333333333334,4.44,0.06,0.3333333333333333,16.333333333333332,0.98,0.3333333333333333,57.666666666666664,3.4599999999999995,0.3333333333333333,0.0,0.0,0.3333333333333333,14.0,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,5.666666666666667,22.01666666666667,130.48,0.0,65.33333333333333,0.0,287.3333333333333,34.0,113.66666666666667,0.0,0.0,0,1,1,0,1,3,9,0
1,4231,951.0,1.3333333333333333,27.546666666666667,6.45,22.0,1.0,12.013333333333334,46.333333333333336,6.45,47.150000000000006,1.3233333333333333,8.81,1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,31.666666666666668,6.400000000000001,42.656666666666666,1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,0.6666666666666666,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0,57.0,10.666666666666666,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,4.0,32.026666666666664,156.96666666666667,0.0,145.42999999999998,0.0,1.6666666666666667,0.0,0.3333333333333333,0.0,0.0,0,1,1,0,1,3,9,0
2,5231,523.0,0.6666666666666666,14.62,1.0999999999999999,1307.0,0.0,0.0,14.333333333333334,1.0999999999999999,7.573333333333333,0.7266666666666666,4.84,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,8.333333333333334,0.3233333333333333,2.1566666666666667,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,0.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,8.333333333333334,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,0.0,0.0,47.330000000000005,0.0,10.356666666666667,0.0,0.0,0.0,0.0,0.0,0.0,0,1,0,0,0,3,9,0
And my code looking like this:
ca1DF = (
sqlContext.read.load("merged.csv", format="com.databricks.spark.csv", header=True, inferSchema=True)
.rdd.toDF(["user_account_id", "user_lifetime", "user_no_outgoing_activity_in_days", "user_account_balance_last", "user_spendings", "reloads_inactive_days", "reloads_count", "reloads_sum", "calls_outgoing_count", "calls_outgoing_spendings", "calls_outgoing_duration", "calls_outgoing_spendings_max", "calls_outgoing_duration_max", "calls_outgoing_inactive_days", "calls_outgoing_to_onnet_count", "calls_outgoing_to_onnet_spendings", "calls_outgoing_to_onnet_duration", "calls_outgoing_to_onnet_inactive_days", "calls_outgoing_to_offnet_count", "calls_outgoing_to_offnet_spendings", "calls_outgoing_to_offnet_duration", "calls_outgoing_to_offnet_inactive_days", "calls_outgoing_to_abroad_count", "calls_outgoing_to_abroad_spendings", "calls_outgoing_to_abroad_duration", "calls_outgoing_to_abroad_inactive_days", "sms_outgoing_count", "sms_outgoing_spendings", "sms_outgoing_spendings_max", "sms_outgoing_inactive_days", "sms_outgoing_to_onnet_count", "sms_outgoing_to_onnet_spendings", "sms_outgoing_to_onnet_inactive_days", "sms_outgoing_to_offnet_count", "sms_outgoing_to_offnet_spendings", "sms_outgoing_to_offnet_inactive_days", "sms_outgoing_to_abroad_count", "sms_outgoing_to_abroad_spendings", "sms_outgoing_to_abroad_inactive_days", "sms_incoming_count", "sms_incoming_spendings", "sms_incoming_from_abroad_count", "sms_incoming_from_abroad_spendings", "gprs_session_count", "gprs_usage", "gprs_spendings", "gprs_inactive_days", "last_100_reloads_count", "last_100_reloads_sum", "last_100_calls_outgoing_duration", "last_100_calls_outgoing_to_onnet_duration", "last_100_calls_outgoing_to_offnet_duration", "last_100_calls_outgoing_to_abroad_duration", "last_100_sms_outgoing_count", "last_100_sms_outgoing_to_onnet_count", "last_100_sms_outgoing_to_offnet_count", "last_100_sms_outgoing_to_abroad_count", "last_100_gprs_usage", "user_intake", "user_has_outgoing_calls", "user_has_outgoing_sms", "user_use_gprs", "user_does_reload", "n_months", "churn"])
).cache()
ca1DF.show(5)
|user_account_id|user_lifetime|user_no_outgoing_activity_in_days|user_account_balance_last| user_spendings|reloads_inactive_days| reloads_count| reloads_sum|calls_outgoing_count|calls_outgoing_spendings|calls_outgoing_duration|calls_outgoing_spendings_max|calls_outgoing_duration_max|calls_outgoing_inactive_days|calls_outgoing_to_onnet_count|calls_outgoing_to_onnet_spendings|calls_outgoing_to_onnet_duration|calls_outgoing_to_onnet_inactive_days|calls_outgoing_to_offnet_count|calls_outgoing_to_offnet_spendings|calls_outgoing_to_offnet_duration|calls_outgoing_to_offnet_inactive_days|calls_outgoing_to_abroad_count|calls_outgoing_to_abroad_spendings|calls_outgoing_to_abroad_duration|calls_outgoing_to_abroad_inactive_days|sms_outgoing_count|sms_outgoing_spendings|sms_outgoing_spendings_max|sms_outgoing_inactive_days|sms_outgoing_to_onnet_count|sms_outgoing_to_onnet_spendings|sms_outgoing_to_onnet_inactive_days|sms_outgoing_to_offnet_count|sms_outgoing_to_offnet_spendings|sms_outgoing_to_offnet_inactive_days|sms_outgoing_to_abroad_count|sms_outgoing_to_abroad_spendings|sms_outgoing_to_abroad_inactive_days|sms_incoming_count|sms_incoming_spendings|sms_incoming_from_abroad_count|sms_incoming_from_abroad_spendings|gprs_session_count|gprs_usage|gprs_spendings|gprs_inactive_days|last_100_reloads_count|last_100_reloads_sum|last_100_calls_outgoing_duration|last_100_calls_outgoing_to_onnet_duration|last_100_calls_outgoing_to_offnet_duration|last_100_calls_outgoing_to_abroad_duration|last_100_sms_outgoing_count|last_100_sms_outgoing_to_onnet_count|last_100_sms_outgoing_to_offnet_count|last_100_sms_outgoing_to_abroad_count|last_100_gprs_usage|user_intake|user_has_outgoing_calls|user_has_outgoing_sms|user_use_gprs|user_does_reload|n_months|churn|month|churn|
| 0| 1031| 947.0| 0.3333333333333333|10.993333333333334| 10.3| 12.0|1.3333333333333333| 10.013333333333334| 83.66666666666667| 5.859999999999999| 55.69| 0.5966666666666667| 10.333333333333334| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 23.333333333333332| 2.8833333333333333| 25.0| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 135.33333333333334| 4.44| 0.06| 0.3333333333333333| 16.333333333333332| 0.98| 0.3333333333333333| 57.666666666666664| 3.4599999999999995| 0.3333333333333333| 0.0| 0.0|0.3333333333333333| 14.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 5.666666666666667| 22.01666666666667| 130.48| 0.0| 65.33333333333333| 0.0| 287.3333333333333| 34.0| 113.66666666666667| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0|
| 1| 4231| 951.0| 1.3333333333333333|27.546666666666667| 6.45| 22.0| 1.0| 12.013333333333334| 46.333333333333336| 6.45| 47.150000000000006| 1.3233333333333333| 8.81| 1.3333333333333333| 0.0| 0.0| 0.0| 1.3333333333333333| 31.666666666666668| 6.400000000000001| 42.656666666666666| 1.3333333333333333| 0.0| 0.0| 0.0|1.3333333333333333| 0.6666666666666666| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 10.666666666666666| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 4.0| 32.026666666666664| 156.96666666666667| 0.0| 145.42999999999998| 0.0| 1.6666666666666667| 0.0| 0.3333333333333333| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0|
| 2| 5231| 523.0| 0.6666666666666666| 14.62| 1.0999999999999999| 1307.0| 0.0| 0.0| 14.333333333333334| 1.0999999999999999| 7.573333333333333| 0.7266666666666666| 4.84| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 8.333333333333334| 0.3233333333333333| 2.1566666666666667| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 8.333333333333334| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 47.330000000000005| 0.0| 10.356666666666667| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0| 1| 0| 0| 0| 3| 9| 0|
from pyspark.ml.feature import StandardScaler, VectorAssembler
assembler = VectorAssembler(inputCols=["user_lifetime", "user_no_outgoing_activity_in_days", "user_account_balance_last", "user_spendings", "reloads_inactive_days", "reloads_count", "reloads_sum", "calls_outgoing_count", "calls_outgoing_spendings", "calls_outgoing_duration", "calls_outgoing_spendings_max", "calls_outgoing_duration_max", "calls_outgoing_inactive_days", "calls_outgoing_to_onnet_count", "calls_outgoing_to_onnet_spendings", "calls_outgoing_to_onnet_duration", "calls_outgoing_to_onnet_inactive_days", "calls_outgoing_to_offnet_count", "calls_outgoing_to_offnet_spendings", "calls_outgoing_to_offnet_duration", "calls_outgoing_to_offnet_inactive_days", "calls_outgoing_to_abroad_count", "calls_outgoing_to_abroad_spendings", "calls_outgoing_to_abroad_duration", "calls_outgoing_to_abroad_inactive_days", "sms_outgoing_count", "sms_outgoing_spendings", "sms_outgoing_spendings_max", "sms_outgoing_inactive_days", "sms_outgoing_to_onnet_count", "sms_outgoing_to_onnet_spendings", "sms_outgoing_to_onnet_inactive_days", "sms_outgoing_to_offnet_count", "sms_outgoing_to_offnet_spendings", "sms_outgoing_to_offnet_inactive_days", "sms_outgoing_to_abroad_count", "sms_outgoing_to_abroad_spendings", "sms_outgoing_to_abroad_inactive_days", "sms_incoming_count", "sms_incoming_spendings", "sms_incoming_from_abroad_count", "sms_incoming_from_abroad_spendings", "gprs_session_count", "gprs_usage", "gprs_spendings", "gprs_inactive_days", "last_100_reloads_count", "last_100_reloads_sum", "last_100_calls_outgoing_duration", "last_100_calls_outgoing_to_onnet_duration", "last_100_calls_outgoing_to_offnet_duration", "last_100_calls_outgoing_to_abroad_duration", "last_100_sms_outgoing_count", "last_100_sms_outgoing_to_onnet_count", "last_100_sms_outgoing_to_offnet_count", "last_100_sms_outgoing_to_abroad_count", "last_100_gprs_usage", "user_intake", "user_has_outgoing_calls", "user_has_outgoing_sms", "user_use_gprs", "user_does_reload"], outputCol="features")
scaler = StandardScaler(withMean=True, withStd=True, inputCol="features", outputCol="scaled_features")
ca1FeaturizedDF = assembler.transform(ca1DF)
ca1FeaturizedDF.show(5)
|user_account_id|user_lifetime|user_no_outgoing_activity_in_days|user_account_balance_last| user_spendings|reloads_inactive_days| reloads_count| reloads_sum|calls_outgoing_count|calls_outgoing_spendings|calls_outgoing_duration|calls_outgoing_spendings_max|calls_outgoing_duration_max|calls_outgoing_inactive_days|calls_outgoing_to_onnet_count|calls_outgoing_to_onnet_spendings|calls_outgoing_to_onnet_duration|calls_outgoing_to_onnet_inactive_days|calls_outgoing_to_offnet_count|calls_outgoing_to_offnet_spendings|calls_outgoing_to_offnet_duration|calls_outgoing_to_offnet_inactive_days|calls_outgoing_to_abroad_count|calls_outgoing_to_abroad_spendings|calls_outgoing_to_abroad_duration|calls_outgoing_to_abroad_inactive_days|sms_outgoing_count|sms_outgoing_spendings|sms_outgoing_spendings_max|sms_outgoing_inactive_days|sms_outgoing_to_onnet_count|sms_outgoing_to_onnet_spendings|sms_outgoing_to_onnet_inactive_days|sms_outgoing_to_offnet_count|sms_outgoing_to_offnet_spendings|sms_outgoing_to_offnet_inactive_days|sms_outgoing_to_abroad_count|sms_outgoing_to_abroad_spendings|sms_outgoing_to_abroad_inactive_days|sms_incoming_count|sms_incoming_spendings|sms_incoming_from_abroad_count|sms_incoming_from_abroad_spendings|gprs_session_count|gprs_usage|gprs_spendings|gprs_inactive_days|last_100_reloads_count|last_100_reloads_sum|last_100_calls_outgoing_duration|last_100_calls_outgoing_to_onnet_duration|last_100_calls_outgoing_to_offnet_duration|last_100_calls_outgoing_to_abroad_duration|last_100_sms_outgoing_count|last_100_sms_outgoing_to_onnet_count|last_100_sms_outgoing_to_offnet_count|last_100_sms_outgoing_to_abroad_count|last_100_gprs_usage|user_intake|user_has_outgoing_calls|user_has_outgoing_sms|user_use_gprs|user_does_reload|n_months|churn|month|churn| features|
| 0| 1031| 947.0| 0.3333333333333333|10.993333333333334| 10.3| 12.0|1.3333333333333333| 10.013333333333334| 83.66666666666667| 5.859999999999999| 55.69| 0.5966666666666667| 10.333333333333334| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 23.333333333333332| 2.8833333333333333| 25.0| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 135.33333333333334| 4.44| 0.06| 0.3333333333333333| 16.333333333333332| 0.98| 0.3333333333333333| 57.666666666666664| 3.4599999999999995| 0.3333333333333333| 0.0| 0.0|0.3333333333333333| 14.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 5.666666666666667| 22.01666666666667| 130.48| 0.0| 65.33333333333333| 0.0| 287.3333333333333| 34.0| 113.66666666666667| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0|[1031.0,947.0,0.3...|
| 1| 4231| 951.0| 1.3333333333333333|27.546666666666667| 6.45| 22.0| 1.0| 12.013333333333334| 46.333333333333336| 6.45| 47.150000000000006| 1.3233333333333333| 8.81| 1.3333333333333333| 0.0| 0.0| 0.0| 1.3333333333333333| 31.666666666666668| 6.400000000000001| 42.656666666666666| 1.3333333333333333| 0.0| 0.0| 0.0|1.3333333333333333| 0.6666666666666666| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 0.0| 0.0| 57.0| 10.666666666666666| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 4.0| 32.026666666666664| 156.96666666666667| 0.0| 145.42999999999998| 0.0| 1.6666666666666667| 0.0| 0.3333333333333333| 0.0| 0.0| 0| 1| 1| 0| 1| 3| 9| 0|(62,[0,1,2,3,4,5,...|
| 2| 5231| 523.0| 0.6666666666666666| 14.62| 1.0999999999999999| 1307.0| 0.0| 0.0| 14.333333333333334| 1.0999999999999999| 7.573333333333333| 0.7266666666666666| 4.84| 0.6666666666666666| 0.0| 0.0| 0.0| 0.6666666666666666| 8.333333333333334| 0.3233333333333333| 2.1566666666666667| 0.6666666666666666| 0.0| 0.0| 0.0|0.6666666666666666| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 1307.0| 8.333333333333334| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1307.0| 0.0| 0.0| 47.330000000000005| 0.0| 10.356666666666667| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0| 1| 0| 0| 0| 3| 9| 0|(62,[0,1,2,3,4,5,...|
scalerModel = scaler.fit(ca1FeaturizedDF)
ca1FeaturizeScaleddDF = scalerModel.transform(ca1FeaturizedDF)
ca1FeaturizeScaleddDF.show(5)
Which produced an error:
---------------------------------------------------------------------------
Py4JJavaError Traceback (most recent call last)
<ipython-input-24-4a1ada825b56> in <module>()
1 ca1FeaturizeScaleddDF = scalerModel.transform(ca1FeaturizedDF)
----> 2 ca1FeaturizeScaleddDF.show(5)
/opt/apache-spark/python/pyspark/sql/dataframe.py in show(self, n, truncate)
255 +---+-----+
256 """
--> 257 print(self._jdf.showString(n, truncate))
258
259 def __repr__(self):
/opt/apache-spark/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py in __call__(self, *args)
811 answer = self.gateway_client.send_command(command)
812 return_value = get_return_value(
--> 813 answer, self.gateway_client, self.target_id, self.name)
814
815 for temp_arg in temp_args:
/opt/apache-spark/python/pyspark/sql/utils.py in deco(*a, **kw)
43 def deco(*a, **kw):
44 try:
---> 45 return f(*a, **kw)
46 except py4j.protocol.Py4JJavaError as e:
47 s = e.java_exception.toString()
/opt/apache-spark/python/lib/py4j-0.9-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name)
306 raise Py4JJavaError(
307 "An error occurred while calling {0}{1}{2}.\n".
--> 308 format(target_id, ".", name), value)
309 else:
310 raise Py4JError(
Py4JJavaError: An error occurred while calling o172.showString.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 16.0 failed 1 times, most recent failure: Lost task 0.0 in stage 16.0 (TID 20, localhost): java.lang.IllegalArgumentException: Do not support vector type class org.apache.spark.mllib.linalg.SparseVector
at org.apache.spark.mllib.feature.StandardScalerModel.transform(StandardScaler.scala:150)
at org.apache.spark.ml.feature.StandardScalerModel$$anonfun$2.apply(StandardScaler.scala:141)
at org.apache.spark.ml.feature.StandardScalerModel$$anonfun$2.apply(StandardScaler.scala:141)
at org.apache.spark.sql.catalyst.expressions.GeneratedClass$SpecificUnsafeProjection.apply(Unknown Source)
at org.apache.spark.sql.execution.Project$$anonfun$1$$anonfun$apply$1.apply(basicOperators.scala:51)
at org.apache.spark.sql.execution.Project$$anonfun$1$$anonfun$apply$1.apply(basicOperators.scala:49)
The error and data is shortened.
Obviously, I have no idea what does it mean or how to fix it..
I am trying to make a k-means model from the example on different dataset. K-means model is required.
Thank you!
Merry Christmas!
解决方案
This happens because in Spark 1.x StandardScaler cannot be used to transform SparseVector withMean. This behavior has been modified in Spark 2.0, where vectors are transformed to DenseVector if centering is requested.
In Spark 1.x you have to take care of that manually:
from pyspark.mllib.linalg import SparseVector, DenseVector, VectorUDT
from pyspark.sql.functions import udf
as_dense = udf(
lambda v: DenseVector(v.toArray()) if v is not None else None,
VectorUDT()
)
Example usage:
df = sc.parallelize([
(1, SparseVector(5, [0, 3], [1.0, -1.0]))
]).toDF(["id", "features"])
scaler = StandardScaler(
withMean=True, withStd=True, inputCol="features", outputCol="scaled_features"
)
scaler.fit(df).transform(df).show(1)
... ERROR Executor: Exception in task 6.0 in stage 31.0 (TID 68)
java.lang.IllegalArgumentException: Do not support vector type class org.apache.spark.mllib.linalg.SparseVector
at org.apache.spark.mllib.feature.StandardScalerModel.transform(StandardScaler.scala:150)
df_dense = df.withColumn("features", as_dense("features"))
scaler.fit(df_dense).transform(df_dense).show(1)
+---+--------------------+--------------------+
| id| features| scaled_features|
+---+--------------------+--------------------+
| 1|[1.0,0.0,0.0,-1.0...|[0.0,0.0,0.0,0.0,...|
+---+--------------------+--------------------+
On a side note renaming logic you use is incorrect and inefficient. If you want to drop index column select should be enough:
ca1DF = sqlContext.read.load(...).select(
["user_account_id", "user_lifetime", ... "churn"]
)
这篇关于Spark Python：标准缩放错误“不支持... SparseVector”的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
