论文(2)

山东建筑大学毕业论文

?????s1(t)????s2(t)? ?.??.???.????sm(t)??

式中：每个混合信号xi（t）（i＝1，?，m）都可以是一个随机信号，其每个观测值xi（t）是在t时刻随机信号xi的一次抽样。由式（1.2）看出，t时刻的各观测数据xi是由t时刻各独立源信号sj（t）的值经不同hij线型加权得到。独立分量分析就是在s和H都未知的情况下，根据源信号统计独立这一个前提，找到一个分解矩阵B，使得y＝BTx成为声音信号s的一个近似估计值。只是估计出的各个信号与源信号的排列顺序不一致，而且由于在线型变换中丢失了信号的能量信息，各信号与源信号的幅度也有所差别，这种分离信号幅值及顺序的不确定性称为ICA问题的不确定性，但这种不确定性对实际问题来说通常并不重要；此外为使ICA问题有确定的解，就必须有一些符合工程应用的假设和约束条件，即：各个源信号都为零均值的实随即信号，且任意时刻均相互统计独立；至多只允许一个源信号sj的概率密度函数是高斯函数；各传感器引入的噪声信号很小，可以忽略不计。

ICA处理过程实际上使分离出的独立分量最大程度地逐步逼近各个源信号，即建立目标函数以寻优来实现逼近。负熵是从熵的概念中引申出来的，输出y的负熵定义为

Jg(y)?H(yg)?H(y)

式中：yg是与y方差相同的高斯随即向量。

负熵的特点是它对于y的任意线型变换保持不变，而且总是非负的，只有当y是高斯分布时才为零，基于这一特点，负熵是一个很好的目标函数。FastICA[9,10]采用近似负熵作为判据，采用了如下近似公式：

Jg(y)?(E[G(WTX)]?E[G(yg)])2

经过预白化处理以后，由牛顿迭代定理经过反复迭代，依次求出权值向量W1T,W2T,...,

WnT最后得到ICA的分离矩阵W。

总之，ICA 是在独立源s 和混合矩阵A 未知前提下，找到分解矩阵W，使y＝Wx 是源信

VI

山东建筑大学毕业论文

号s 的近似估计值。用常规信号处理手段无法解决盲源分离。 2.2 ICA 的假设和约束条件

各独立分量s 不能直接观测，混合矩阵A 也未知，唯一可利用的信息只有传感器观测到 的随机向量x。若无任何条件，仅由x 估计出s 和W，必为多解。 故应给予假设和约束条件：

(1) 源信号必须具有数学上的统计独立性，即各分量间是相互统计独立； (2) 源信号必须是非高斯分布或最多只有一个源信号为高斯； (3) 为简化模型，假定已知信号和源信号的数目相同，即n＝m。 2.3 分离准则

ICA 理论及其分离算法的出发点是如何度量分离分量间的独立性，目前独立性的度量准则主要包括：峭度、差熵、负熵和互信息[1]。由中心极限定理知，随机量由许多相互独立的随机量之和组成，各独立的随机量具有有限均值和方差，无论何种分布，该随机量必接近高斯分布。故可在分离过程中，通过对分离结果非高斯性的度量来监测分离结果间的相互独立性。当非高斯性度量达到最大时，表明已完成对各独立分量的分离。在相同协方差阵的概率密度函数中，高斯分布具有最大的信息熵。因此将任意概率密度函数p(y)与具有相同协方差阵的高斯分布pG(y) 间的KL 散度作为概率密度非高斯程度的度量，称为负熵： J(y)＝H(ygauss)-H(y) (3)

式中ygauss 是与y 具有相同方差的高斯分布的随机量，H(y) 为随机变量的信息熵： H(y) = ?∫ p(y) log p(y)dy (4)

由式 (3) 可得，当y 具有高斯分布时，J(y)＝0。

y 的非高斯性越强，J(y) 值越大。因此最大化y 的非高斯性可求解ICA 估计问题。 2.4线性独立分量分析

为简便起见, 假定观测与独立分量个数相同,即假设n 个观测变量x1 , x2 , ?, xn 由n 个独立分量线性组合而成,观测变量和独立分量均为随机变量。对于t 时刻的n 个观察值, j = 1 , ?, n ,有 xj

?+ ajnSn (3)

令x = [ x1 , x2 , ?, xn ] T ,

s =[ s1 , s2 , ?, sn ] T , A =[ aij ] ,以下记号中, 小写黑体为行(列) 向量,

VII

山东建筑大学毕业论文

大写黑体为矩阵,正常小写为元素或单变量。 将式(3) 写成矩阵形式 x = A·s (4)

则方程(4) 所描述的统计模型称为独立分量分析。ICA模型是一个信号产生模型, 描述观测变量xi是如何由独立分量si 产生,由于s 无法直接观测,故称为潜变量。称A 为混合矩阵。与A 相对应,为求得独立分量,需要一个解混合矩阵W。ICA 模型可参见图1。

u = W·x (5)

s1 A x1 W u1 u2

s2 x2 sn

xn un 图1 线性ICA 模型

对于线性混合的解混合模型,通常对问题作如下假设: ①观测变量的个数大于或等于独立源的个数; ②s 之间相互独立;

③至多有一个独立源满足高斯分布的; ④没有噪声,或者噪声能量很小。

从以上定义可以看出,第一节所提出的问题完全可以用ICA 的办法来求解。假定观测与独立分量个数相同使得A 和W 为方阵,如果独立分量个数少于观测分量, 则A 和W 将不是方阵, 此时涉及到矩阵的逆均为伪逆。 2.5 线性独立分量分析算法 2.5.1目标函数与算法

估计独立分量分析数据模型时,通常先设计一个目标函数,然后采用某种优化算法使之极大或极小。ICA 方法可以归结为如下式子: ICA 方法= 目标函数+ 优化算法。

目标函数给定后,完全可以采取经典的优化算法最优化目标函数,如梯度法,拟牛顿法等等。ICA方法的特性取决于等式右边的两项。其中ICA 方法的统计特性(如一致性、鲁棒

VIII

山东建筑大学毕业论文

性) 取决于目标函数的选取;算法特性(收敛速度,内存要求) 取决于优化算法的选择。 2.5.2独立分量分析的预处理

前面几节介绍了ICA 方法的估计原则,在应用ICA 之前,通常要对数据作些预处理,使得ICA 估计更加简单,更符合前面约定的条件。 中心化:

中心化其实就是去均值,去均值只是为了简化ICA 的估计算法,并不是说ICA 算法不能估计出均值。用经过去均值处理的数据估计独立分量s ,在把s 的均值A - 1 m 加回去即可, m 为x 的均值。 白化:

将观测向量x 通过一个白化滤波器, 得到白色的.x 。.x 的元素是不相关的, 而且具有单位方差。也就是说.x 的协方差矩阵是一个单位阵。 通常白化处理采用特征值分解的办法。 2.6 快速ICA算法

目前,流行的ICA算法大致可以分为两大类:一类是基于批运算某种相关的判据函数,这些算法一般需要进行复杂的矩阵或向量运算。另一类是基于随机梯度方法的自适应算 法,这些算法可以用神经网络实现,主要问题是运算收敛速度慢,且其学习速率参数的正确选取对收敛起决定性的作用。鉴于上述诸多算法的研究分析,并根据盲源分离的基本任务,本文给出的FastICA算法,基于固定点迭代理论寻找非高斯性最大值,它每次只从观测信号中分离一个独立分量,是ICA的一种快速算法。FastICA算法分为三步:

(1) 观测信号x进行去均值预处理。

(2) 通过线性改变观测信号x得到一个新的白噪声化变量x′,使得x′的各个分量不关联。白噪声化使x′新的混合矩阵A ′正交化。白噪声化的过程如下:

x′= Cx = CA s = A ′s (4) (3) 用Fast ICA算法分离出s的各个分量。

前两步可以看成是对观测信号的预处理, 通过去均值和白化可以简化ICA算法。要提取独立分量、得到源信号, 完成步骤(3) ,需要进一步使用如下算法: (3. 1) 初始化w (0) ,令其模等于1,置k = 1; (3. 2) w ( k) = C- 1 E{ X (w ( k - 1) T X) 3 } - 3w ( k - 1) ,期 望值可由大量x向量的采样点计算出来; (3. 3) 用‖w ( x) ‖去除w ( k) ; IX

山东建筑大学毕业论文

(3. 4) 如果| w ( k) Tw ( k - 1) | 不是足够接近1,那么令

k = k + 1,返回第(2) 步,否则输出w ( k) 。

算法最后给出的向量w ( k) 等于正交混合矩阵A 中的一列,在信号分离中意味着w ( k) 分离了其中的一个非高斯信号w ( k) T x ( t) , t = 1, 2, ?等于其中的一个源信号。 Fast ICA是为得到wT x并使其达到非高斯最大化的定点迭代法。FastICA数据模型与普通的ICA算法相比,收敛速度非常迅速。对比基于梯度的算法, FastICA算法没有步长常数的选取。FastICA 算法具有神经算法的大多数优点:它是并行、分布式的,计算量小,而且要求的内存空间较少。

2.2 ICA 在声音分离中的应用

选择一组语音信号与音乐信号混叠。在安静环 境下，用麦克风单独录下一段音乐，生成波形文件 Signal1.wav；同样环境下录下语音信号。实验者以 平稳语速从1 数到10，生成波形文件Signal2.wav。 该文件采样频率为16kHz、双声道，以保持语音或 噪声信号不失真。程序中将2 波形文件打开、取出 样本、混合。则混合矩阵随机产生。

2. 2 算法实现

(1) 以列向量形式读入源信号s1 , s2 ,波形如图2。

信号源1: [ s1, FS,NB ITS] =wavread ( ′1. wav′, 160000) 信号源2: s2 =wavread ( ′2. wav′, 160000) (2) 使其方差为1,均值为0后,经归一化处理,得到归 一化频谱。

(3) 随机生成混合矩阵A (A = rand (2) ) ,随机混合两输

入信号,生成混合语音文件X (X = A 3 [ s1′; s2′] ) , 混合语音 的波形如图3。

A = X

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库论文(2)在线全文阅读。