rdd的特点如下:
1、RDD是Spark提供的核心抽象 , 全称为Resillient Distributed Dataset , 即弹性分布式数据集 。
2、RDD在抽象上来说是一种元素集合 , 包含了数据 。它是被分区的 , 分为多个分区 , 每个分区分布在集群中的不同节点上 , 从而让RDD中的数据可以被并行操作 。
【rdd的特点可分区 rdd的特点】
3、RDD通常通过Hadoop上的文件 , 即HDFS文件或者Hive表 , 来进行创建;有时也可以通过应用程序中的集合来创建 。
4、RDD最重要的特性就是 , 提供了容错性 , 可以自动从节点失败中恢复过来 。即如果某个节点上的RDD partition , 因为节点故障 , 导致数据丢了 , 那么RDD会自动通过自己的数据来源重新计算该partition 。这一切对使用者是透明的 。
5、RDD的数据默认情况下存放在内存中的 , 但是在内存资源不足时 , Spark会自动将RDD数据写入磁盘 。
相关经验推荐
- r9s怎么截屏 r9splus怎么截屏
- 蜂蜜姜水的功效与作用 蜂蜜姜水的功效与作用及禁忌
- 翡翠的功效与作用有什么科学依据吗 翡翠的功效与作用
- 艾草做枕头的功效与作用 艾草做枕头的功效与作用对颈椎有用吗
- 苦参注射的功效与作用 苦参注射功效与作用是什么
- 洋甘菊的功效与作用 熏衣草的功效与作用
- 焦白术的功效与作用 焦白术的功效与作用制半百
- 海盐热敷包有什么作用与功效 海盐热敷包的功效与作用
- 红米的功效与作用 黑米的功效与作用
- 新版拼音o怎么读 新版拼音o怎么读谁改的