Spark-Mllib-Matrix

• Local vector 本地向量
• Labeled point 带标记点
• Local matrix 本地矩阵
• Distributed matrix 分布式矩阵

MLlib 中的线性代数支持有 Breeze 和 jblas 两种。

Local vector 本地向量

根据存储单元的值分为两个类型：整数型和双精度数值，是存放在一台机器上的。MLlib 支持两种类型的本地向量：稠密和稀疏。稠密向量是由一个 Double 矩阵表示内部元素值的，而稀疏向量则是由两个平行的矩阵表示：索引数组和值数组。例如，向量 (1.0,0.0,3.0) 可以用稠密的方式 [1.0, 0.0, 3.0] 表示或者用稀疏的形式 (3, [0, 2], [1.0, 3.0]) 表示，其中 3 是向量的维度.

import org.apache.spark.mllib.linalg.{Vector, Vectors}

// Create a dense vector (1.0, 0.0, 3.0).
val dv: Vector = Vectors.dense(1.0, 0.0, 3.0)
// Create a sparse vector (1.0, 0.0, 3.0) by specifying its indices and values corresponding to nonzero entries.
val sv1: Vector = Vectors.sparse(3, Array(0, 2), Array(1.0, 3.0))
// Create a sparse vector (1.0, 0.0, 3.0) by specifying its nonzero entries.
val sv2: Vector = Vectors.sparse(3, Seq((0, 1.0), (2, 3.0)))

Labeled point 带标记点

Local matrix 本地矩阵

Distributed matrix 分布式矩阵