Spark面试整理-讨论DataFrame和DataSet的区别
它是DataFrame的一个扩展，结合了RDD的类型安全特性和DataFrame的查询优化功能。DataFrame不是类型安全的。这意味着在编译时不会检查数据的类型，错误（如访问不存在的列或错误的数据类型）只能在运行时被发现。DataFrame的操作会被Spark SQL的Catalyst查询优化器优化，提供高效的执行计划。适用于需要高性能和易用性、不需要类型安全的场景，以及在Python和R中的数据处理任务。当需要高级的类型检查和函数式编程的特性时，使用Dataset是更好的选择。
复制链接