将 scala 列表转换为 DataFrame 或 DataSet
我是 Scala 的新手.我正在尝试将 Scala 列表(它保存源 DataFrame 上某些计算数据的结果)转换为 Dataframe 或 Dataset.我没有找到任何直接的方法来做到这一点.但是，我尝试了以下过程将我的列表转换为 DataSet，但它似乎不起作用.我提供以下 3 种情况. 有人能给我一些希望吗，如何进行这种转换?谢谢. import org.apache.spark.
..
apache-spark-encoders相关内容
行类型 Spark 数据集的编码器
我想为 Row 在 DataSet 中键入，用于我正在执行的地图操作.本质上，我不明白如何编写编码器. 下面是一个地图操作的例子: 在下面的例子中，我不想返回Dataset，而是返回Dataset 数据集output = dataset1.flatMap(new FlatMapFunction() {@覆盖公共迭代器调用(行行)抛出异常{ArrayListobj =//一些地图操作返
..
如何在 Scala 的 Apache Spark 中将数据帧转换为数据集?
我需要将数据框转换为数据集，我使用了以下代码: val final_df = Dataframe.withColumn(“特征"，toVec4(//转换成 Timestamp 来解析字符串，然后转换成 Int$"time_stamp_0".cast(TimestampType).cast(IntegerType),$"计数",$"sender_ip_1",$"receiver_ip_2")).
..
Spark 数据集:示例:无法生成编码器问题
新来的火花世界并尝试我在网上找到的用 Scala 编写的数据集示例 通过 SBT 运行它时，我不断收到以下错误 org.apache.spark.sql.AnalysisException:无法为内部类生成编码器 知道我在俯瞰什么 也可以随意指出编写相同数据集示例的更好方法 谢谢 >sbt>运行主数据集示例使用 Spark 的默认 log4j 配置文件:org/ap
..
如何创建地图数据集?
我使用的是 Spark 2.2，在尝试对 Map 的 Seq 调用 spark.createDataset 时遇到了麻烦. 我的 Spark Shell 会话的代码和输出如下: //createDataSet on Seq[T] where T = Int 有效标度>spark.createDataset(Seq(1, 2, 3)).collectres0: Array[Int] = Arra
..
尝试将数据帧行映射到更新行时出现编码器错误
当我尝试在我的代码中做同样的事情时，如下所述 dataframe.map(row => {val row1 = row.getAs[String](1)val make = if (row1.toLowerCase == "tesla") "S" else row1行(行(0)，制作，行(2))}) 我从这里获取了上述参考:Scala:我如何使用 scala 替换数据帧中的值但我收到编码器错误
..
将 ADT/密封特征层次结构编码到 Spark DataSet 列中
如果我想在 Spark DataSet 列，最佳编码策略是什么? 例如，如果我有一个 ADT，其中叶类型存储不同类型的数据: 密封特质职业案例对象 SoftwareEngineer 扩展职业case class Wizard(level: Int) extends Occupationcase class Other(description: String) extends Occupat
..
为什么“无法找到存储在数据集中的类型的编码器"?创建自定义案例类的数据集时?
Spark 2.0(最终版)和 Scala 2.11.8.以下超级简单的代码产生编译错误 Error:(17, 45) Unable to find encoder for type stored in a Dataset.通过导入 spark.implicits 支持原始类型(Int、String 等)和产品类型(case 类)._ 后续版本中将添加对序列化其他类型的支持. import or
..
尝试将数据帧行映射到更新行时出现编码器错误
当我尝试在我的代码中做同样的事情时，如下所述 dataframe.map(row => {val row1 = row.getAs[String](1)val make = if (row1.toLowerCase == "tesla") "S" else row1行(行(0)，制作，行(2))}) 我从这里获取了上述参考:Scala:如何使用 Scala 替换数据帧中的值但我收到编码器错误
..
如何在数据集中存储自定义对象?
根据介绍Spark数据集: 当我们期待 Spark 2.0 时，我们计划对数据集进行一些激动人心的改进，特别是:...自定义编码器 - 虽然我们目前为各种类型自动生成编码器，但我们希望为自定义对象开放 API. 并尝试将自定义类型存储在 Dataset 中会导致以下错误，例如: 无法找到存储在数据集中的类型的编码器.通过导入 sqlContext.implicits 支持原始类型
..
Spark Dataset mapGroups操作后，值类型为二进制，甚至在函数中返回String
环境: Spark版本:2.3.0运行模式:本地Java版本:Java 8 spark应用程序尝试执行以下操作 1)将输入数据转换为数据集[GenericRecord] 2)按GenericRecord的关键属性分组 3)组后使用mapGroups迭代值列表并以String格式获取一些结果 4)在文本文件中将结果输出为字符串. 写入文本文件时发生错误.Spar
..
如何将Encoder作为参数传递给数据框的as方法
我想通过使用不同的大小写类将dataFrame转换为dataSet.现在，我的代码如下所示. 案例类视图(视图:Double)案例类点击次数(点击次数:两次)def convertViewsDFtoDS(df:DataFrame){df.as [观看次数]}def convertClicksDFtoDS(df:DataFrame){df.as [点击次数]} 所以，我的问题是“无论如何，我可
..
编码后无法对自定义类型进行操作吗?Spark数据集
说你有这个(编码自定义类型的解决方案来自此线程): //假设我们处理自定义类型类MyObj(val i:Int，val j:String)隐式val myObjEncoder = org.apache.spark.sql.Encoders.kryo [MyObj]val ds = spark.createDataset(Seq(new MyObj(1，"a")，new MyObj(2，"b")，
..
Apache Spark 2.1:java.lang.UnsupportedOperationException:找不到scala.collection.immutable.Set [String]的编码器
我正在使用Spark 2.1.1和Scala 2.11.6.我收到以下错误.我没有使用任何案例类. java.lang.UnsupportedOperationException: No Encoder found for scala.collection.immutable.Set[String] field (class: "scala.collection.immutable.Set
..
通用T作为Spark Dataset [T]构造函数
在以下代码段中，tryParquet函数尝试从Parquet文件中加载数据集(如果存在).如果没有，它将计算，保留并返回提供的数据集计划: import scala.util.{Try, Success, Failure} import org.apache.spark.sql.SparkSession import org.apache.spark.sql.Dataset sealed
..
Spark:java.lang.UnsupportedOperationException:找不到java.time.LocalDate的编码器
我正在使用2.1.1版编写一个Spark应用程序.以下代码在调用带有LocalDate参数的方法时出现错误? Exception in thread "main" java.lang.UnsupportedOperationException: No Encoder found for java.time.LocalDate - field (class: "java.time.LocalD
..
将scala列表转换为DataFrame或DataSet
我是Scala的新手.我正在尝试将scala列表(在源DataFrame上保存一些计算数据的结果)转换为Dataframe或Dataset.我没有找到任何直接的方法来做到这一点. 但是，我尝试了以下过程将列表转换为DataSet，但似乎不起作用.我提供以下3种情况. 有人可以给我带来些希望吗，如何进行转换?谢谢. import org.apache.spark.sql.{DataFra
..
如何在Scala的Apache Spark中将数据框转换为数据集?
我需要将数据框转换为数据集，并使用以下代码: val final_df = Dataframe.withColumn( "features", toVec4( // casting into Timestamp to parse the string, and then into Int $"time_stamp_0".cast
..
Spark数据集:示例:无法生成编码器问题
引发世界并尝试使用我在网上找到的用scala编写的数据集示例 通过SBT运行它时，我不断遇到以下错误 org.apache.spark.sql.AnalysisException: Unable to generate an encoder for inner class 任何想法我都忽略了什么 还可以随时指出编写相同数据集示例的更好方法 谢谢 > sbt>
..
为什么出现错误“无法找到存储在数据集中的类型的编码器"?使用案例类编码JSON时?
我写了火花工作: object SimpleApp { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Simple Application").setMaster("local") val sc = new SparkContext(conf) val ctx = ne
..