2.2 numpy数据储存 | 铃溪的Blogs

status

type

date

slug

summary

CSV文件

CSV（Comma-Separated Value，逗号分隔值），CSV是一种常见的文件格式，用来存储批量数据，存储一维、二维数据非常好的格式

将数据写入CSV文件中

np.savetxt(frame,array,fmt='%.18e',delimiter=None)

frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件

array：存入文件的数组

fmt：写入文件的格式，例如：%d %.2f %.18e

delimiter：分割字符串，默认是空格

从CSV文件读取数据

np.loadtxt(frame,dtype=np.float,delimiter=None,unpack=False)

frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件

dtype：数据类型，可选

delimiter：分割字符串，默认是任何空格

unpack：如果True，读入属性将分别写入不同变量

CSV文件的局限性

CSV格式只能有效存储一维和二维数组

多维数组的存取

NumPy提供了一些方法来存取多维数据

a.tofile(frame,sep='',for,at='%s')

frame：文件、字符串

sep：数据分割字符串，如果是空串，写入文件为二进制

format：写入数据的格式。

如果不指定sep值，文件会使用二进制存储，占用的空间会更小，所以适合给数据备份

np.fromfile(frame,dtype=float,count=-1,sep='')

frame：文件、字符串

dtype：读取的数据类型，默认为float。

count：读入元素的个数，-1表示读入整个文件

sep：数据分割字符串，如果为空串，写入文件为二进制

注意：该NumPy库提供的存取高维数据的方法，需要在读取时知道存入文件数组的维度和元素类型，a.tofile()和np.fromfile()要配合使用。
可以通过元数据文件来存储额外的信息，在读取数据时先读取元数据，根据元数据的信息，将文件数据还原。

NumPy的便捷文件存取

np.save(fname,array)或np.savez(fname,array)

frame：文件名，以.npy为扩展名，压缩扩展名为.npz

array：数组变量

np.load(fname)

frame：文件名，以.npy为扩展名，压缩扩展名为.npz

.npy文件能够保留维度信息，是因为.npy文件会再第一行写入数组的元数据，读取时，就能根据元数据还原维度信息。

NumPy的随机函数

NumPy也有提供随机数功能的random子库，与python的标准库random库不同，random库只能给标量提供随机数，而NumPy的random能给数组提供随机数。

可以通过np.random.(name)，来使用NumPy的random库函数。

函数	说明
`rand(d0,d1,...,dn)`	根据d0-dn创建随机数数组，浮点数，[0,1)，均匀分布
`randn(d0,d1,...,dn)`	根据d0-dn创建随机数数组，标准正态分布
`randint(low,high,(shape))`	根据shape创建随机整数或整数数组，范围是[low,high]
`seed(s)`	随机数种子，s是给定的种子值
`shuffle(a)`	根据数组a的第1轴进行随机排列，改变数组x
`permutation(a)`	根据数组a的第1轴产生一个新的乱序数组，不改变数组x
`choice(a,(size),replace,p)`	从一维数组a中以概率p抽取元素，形成size形状新数组，replace表示已选取的元素是否可以重用
`uniform(low,high,size)`	产生具有均匀分布的数组，low起始值，high结束值，size形状
`normal(loc,scale,size)`	产生具有正态分布的数组，loc均值，scale标准差，size形状
`poisson(lam,sizze)`	产生具有泊松分布的数组，lam随机事件发生率，size形状

NumPy的统计函数

NumPy的统计函数可以对数组进行统计。

使用np.name调用统计函数

NumPy的常用统计函数：

函数	说明
`sum(a,axis=None)`	根据给定轴axis计算数组a相关元素之和，axis整数或元组
`mean(a,axis=None)`	根据给定轴axis计算数组a相关元素的期望，也就是算术平均值，axis整数或元组
`average(a,axis=None,weights=None)`	根据给定轴axis计算数组a相关元素的加权平均值（权就是一个数据出现的次数55）
`std(a,axis=None)`	根据给定轴axis计算数组a相关元素的标准差
`var(a,axis=None)`	根据给定轴axis计算数组a相关元素的方差
`min(a) max(a)`	计算数组a中元素的最小值、最大值
`argmin(a) argmax(a)`	计算数组a中元素最小值、最大值的降一维后下标
`unravel_index(index,shape)`	根据shape将一维下标index转换成多维下标
`ptp(a)`	计算数组a中元素最大值与最小值的差
`median(a)`	计算数组a中元素的中位数（中值）

NumPy的梯度函数

np.gradient(f)：计算数组f中元素的梯度，当f为多维时，返回每个维度的梯度。

梯度：连续值之间的变化率，即斜率。例如：

XY坐标轴连续三个x坐标对应的Y轴值：a，b，c，其中，b的梯度是：(c-a)/2

梯度反映了元素的变化率，在进行图像和声音处理的时候，梯度有助于发现图像的边缘