Lec1

图像处理介绍

图像是二维函数，f(x,y)是图片的强度或灰度

数字图像是由有限数量的离散像素组成的，每个像素都有特定的位置和强度值。

数字图像的重要性：视觉感知是人类最重要的信息来源，不仅能传递信息，还能传达空间结构信息

为什么要处理数字图像？

信息提取有助于理解数字图像。
信息通信可以提高传输数字图像的质量和效率。
获取图像
- 校正光圈和色彩平衡
- 从投影重建 3D 物体
为显示或打印做准备
- 调整图像大小
- 色彩映射、伽马校正、半色调
便于图像存储和传输
增强和恢复图像
从图像中提取信息
通过数字图像处理技术来判断图像的真实性
图像≠信息
数字图像处理：存储、增强/恢复、压缩、分割、特征提取
数字图像处理的常见流程：图像获取、图像处理、图像压缩与传输、图像显示

信息形成

人类视觉感知：视觉判断常用于数字图像处理（DIP）结果，数字图像处理算法有时会模仿人类的感知原理

针孔相机模型：

屏障（barrier）
数字传感器：可能是 CCD 或 CMOS 类型的传感器
针孔（pinhole）

带传感器阵列的成像：在这个模型中，成像系统（例如镜头和传感器）会对光线进行处理。现代成像系统通常会包含光学元件和电子元件，这些元件会对光线进行矫正和处理，使得在内部图像平面上形成的图像是正立的。

使用CCD相机对数字图像进行采样和量化：要产生一幅数字图像，需要把连续感测的数据转换为数字形式。采样（对坐标值进行数字化）、量化（对幅度值进行数字化）

在 CCD 相机中，采样和量化是关键元素
采样：通过 CCD 芯片网格对图像进行采样
量化：每个 CCD 元件使用固定数量的比特来表示图像值
- 我们将图像表示为一个数字矩阵
- MATLAB 是图像处理的理想工具

量化：

为什么？只有有限的比特（精度）可用。
如何？使用 8 比特（256 级）来表示所有可能的值。把原始值映射到0-255
不同量化方案的依据：值范围、值分布

0、0.5、1分别是黑色、灰色、白色

度量相邻像素：

数学基础

共轭矩阵：把每个元素替换成共轭复数，虚部取相反数

共轭转置：先转置后共轭，或者先共轭后转置，一样的。厄米特矩阵：满足A=A^H

trace迹：方阵（行数和列数相等的矩阵）主对角线上元素之和

高斯分布：对星系的图像进行不同次数的平均处理，以减少加性高斯噪声的影响

齐次坐标：将二维坐标 (x, y) 扩展为三维坐标 (x, y, 1) 的一种表示方法

练习

2.1节的背景信息是：晶状体和视网膜的距离固定（17mm），即可计算中间凹区域的物体大小

如图 P2.3 所示，视网膜图像中与点相对应的直径 x 是由类似的三角形得到的。即

得出 x = 0.085d。将眼窝视为一个方形传感器阵列，拥有大约 337,000 个元素，这相当于一个大约 580×580 个元素的阵列。假设元素间距相等，则在 1.5 毫米长的边长上有 580 个元素和 579 个间距，共计 1,159 个。1.5mm/1159=1.3×10-6 m，是单个分辨率元素的大小，如果一个点的直径 0.085d＜1.3×10-6 m，或者 d＜15.3×10-6 m，眼睛就无法检测到这个点。

Lec2 强度Intensity转换

图像增强

图像增强与特征提取密切相关。它是特征提取的预处理步骤，不同的变换是从不同角度观察图像的常用工具。

对于这个主题，最好有一个标准化的、定量的问题表述和评估标准。

空间域的图像增强方法

空间域中，图像函数f(x,y)是函数值的结构化排列。增强方法作用于f，或者作用于坐标(x,y)和f

本章讲解point和global，Lec3讲解filter，这三种都是空间域的增强

point method

仅操作一个像素：1*1

下面是基础的灰度变换函数：灰度图像是一种只包含亮度信息，而没有色彩信息的图像。灰度通常用一个数值来表示，范围从 0（黑色）到 255（白色），中间的数值代表不同程度的灰色。

方法1：裁剪和阈值操作

方法2：图像取反

方法3：对数变换，常用于扩展图像中的暗像素值，压缩亮像素值，使显示中的暗像素可见

例：这里将强度值范围缩放从0到1.5×10⁶缩放到[0, 255]）

方法4：幂律变换，ε是一个小的正数（用于避免时的计算问题）。这种变换常用于调整图像的对比度（感觉这图横纵坐标被归一化成[0,1]了，不然不满足这个曲线）

例1：显示器校准（伽马校正）
例2：增强图像对比度。γ=0.3时最明显，每个像素点增大最多，变得更亮，反之γ=5时像素值下降最多，变得最暗

方法5：分段线性变换函数

例1：对比度拉伸。b：低对比度；c：对比度拉伸；d：阈值处理
例2：灰度级分层，(a)增强比背景更亮的主要血管，(b)中其他部分是T(r)=r，说明输出信号和输入信号一样
例3：比特平面分层。256灰度的图片由8bit组成，指将8位灰度图像分割成8个不同的二进制图像，最低位k8对像素值的影响最小，而最高位k1的影响最大。
- 最高有效的4个平面（尤其是最高的2个平面）包含大量具有视觉意义的数据
- 提取每个像素的特定位：例如，1 << i生成一个只在第i位有值的二进制数（例如，对于第0位是00000001，对于第7位是10000000），然后我们将这个数与图像中的每个像素值进行位与运算，结果是一个只包含第**i**位信息的图像。通过这种方式，可以观察每个位平面对图像视觉效果的贡献。
- 程序思想：在8比特下，遍历整个图像，用像素值与各比特面的值进行位与操作，每个比特面的取值间隔为2^(n-1)，判断该像素值在该比特面是否存在即该比特位是否为1，如果存在进行二值化给该像素值所在位赋值为255（白色），这也是突出显示该比特的核心，否则赋值0。
下图是比特平面从8到1：可以用87/876/8765恢复原图。较高比特平面能够捕捉到图像的主要轮廓和形状，较低比特平面只能捕捉到边界的部分信息。

global method

基于直方图：直方图是一种图表，用于统计数据点在一系列范围或区间（bins）内出现的次数。区间（bin）是一个容器，它包含所有强度值落在相应区间内的数据点。

下图Score列出了区间的上限，No. of Scores列出了对应区间内的数据点数量。数据区间较多时，可以用折线图代替条形图。

直方图传达的信息类型：

频率分布的大致形状：正态分布、卡方分布等
分布是对称的还是偏态的
模态 - 单峰、双峰或多峰，看峰值数量

bin width区间宽度的选择很重要：

过宽时，数据会被过度合并，导致直方图可能无法准确地反映数据的分布情况，细节信息会丢失。
过小时，直方图可能会变得过于碎片化，数据可能会显得非常杂乱，难以看出数据的整体分布趋势。

Histogram equalization

idea：使直方图均匀分布，可以增强图像的对比度，使得图像中的细节更加明显。

目标：找到变换函数s=T(r)，把任意PDF转为均匀的PDF

转换函数T(r)需满足在[0,L-1]内严格单调递增（是双向的一对一映射）

所以构造：

证明：

对于离散情况：

均衡后的效果图：可以看到对前三图效果明显，而第四幅图的灰度级本来就已经全覆盖，所以区别不大

然而在有些场景下直方图均衡化效果不好，比如原始图像的像素分布非常集中，这时候使用直方图匹配。

Histogram specification

规定待处理图像的直方图形状。r,z表示输入和输出图像的灰度级（比如8位就是0-255共256个灰度级），G(z)=s是人为定义的，规定PDF时需要满足的条件。

根据pr(r)和pz(z)算出G(z)

离散形式：注意反函数G^(-1)必须是严格单调的，这意味着pz(z)值不能为0，需要“变通”

例题的图：a是原直方图，b是规定的pz，c是求解出来的G(有0，需要进一步处理)，d是处理后得到的pz，作为规定化结果****

Histogram是全局方法，作用于整个图像。

建议使用局部直方图（local histogram）来提高定位能力（localization ability）。
可能不够具体，它仅仅是强度分布，并且邻域信息在很大程度上被削弱了。
可以使用直方图统计进行增强，例如n-th moment information（n 阶矩信息）。

练习

重点看直方均衡化和直方匹配，因为考试应该只会考离散

原本的bin是r，现在的bin是s，让直方图分布更为均衡。四舍五入到整数值后，获得每个新的灰度级的像素值，即可绘制均衡后的直方图

给定一个强度图像I，构建一个单一的强度变换函数，将I的强度值进行扩展，使得最低强度值为 0，最高强度值为L-1。

多次应用直方图均衡化是否会使分布更加均匀，为什么？不会，第一次均衡化后，图像的强度分布已经符合累积分布的均衡化目标。
直方图匹配：离散情况
1. 首先得到直方图均衡化的值
2. 利用规定的直方图pz(z_q)计算G(z_q），然后四舍五入到0-7的整数
3. 处理G出现0不是严格单调的情况：s0=1，G(z3)最接近，所以映射到zq=3
4. 获得基于z_q的像素，过程就是r->s->z的2重映射，把映射到同一值的pr(r_k)相加

Lec3 spatial filtering 空间滤波

Filtering methods for image enhancement

本章讲空间域的滤波方法，第四章讲频率域的滤波方法

Filtering in Spatial Domain

“-Blurring - integration”：在空间域中，模糊操作可通过积分实现。模糊可以减少图像中的噪声和细节，使图像变得更加平滑。
“Sharpening - differentiation”：锐化操作通过微分实现。锐化可以增强图像的边缘和细节，使图像看起来更加清晰。

Overview

一个空间滤波包括：

邻域：通常是一个小正方形或矩形。空间滤波是基于图像中每个像素周围的一个局部区域进行操作的，这个局部区域就是邻域，常见的形状有小正方形或矩形。这个邻域的大小和形状会影响滤波的效果，较小的邻域可能更注重局部细节，而较大的邻域可能会考虑更广泛的图像区域。
对邻域中的图像像素执行预定义操作：针对每个像素的邻域，有一个预先定义好的操作。这个操作可以是各种数学运算，如求和、求平均、加权求和等，目的是根据邻域内像素的值来改变中心像素的值。

空间滤波的结果：作为滤波操作的结果，在邻域中心的坐标处创建一个新像素

通常，结果被写入一个新图像中，因为邻域中的像素可能仍然需要用于其他像素的滤波，所以不会对原始图像直接进行修改，保证准确和一致性

卷积 —— 在像素上移动滤波掩码，权重与像素值相乘并求和，得到中心像素的新值，根据目的设计

平滑（低通）空间滤波器

Mean/Box Filter

平均掩码的作用：对于一个含有噪声的像素点，经过均值滤波后，其新的值是周围几个像素值的平均，这个平均过程可以有效地减少那些异常的、高幅度的噪声值，使图像变得更加平滑，从而降低噪声的影响。

Gaussian Filter

对于高斯卷积来说，我们可以将图像先与一维水平卷积核相卷积，再与一维垂直方向的卷积核相卷积，所得结果跟直接用二维核来卷积相同，这就是高斯卷积核的可分离性。

2M+1就是滤波器的一半，可分离性告诉我们使用更大的filter也没啥好处，根据σ确认filter大小即可，并不是核越大模糊效果就越好。

网络参考：按照公式求解+归一化+内积（相关）

高斯滤波与盒滤波的对比：高斯滤波更为平滑

模糊效果上，高斯滤波在模糊过程中能够自然地过渡，没有明显边界；而盒式滤波不够平滑，在狗耳朵这样的边缘有块状效果；
边缘检测效果上，高斯滤波对狗的五官、四肢等细节检测良好，但盒滤波失去了部分细节，且出现了伪影，让边缘难以辨认。

高斯滤波与盒滤波均为线性可分离的滤波器，均用于平滑图像，减少图像中的噪声

linear：满足叠加原理。
均可以分解为一维水平和垂直滤波器，进行模糊/平滑处理降低噪音，以及提升计算效率时有用

高斯滤波的应用：

使用低通滤波和阈值处理提取感兴趣的区域，将区域提亮，并消除无关细节
使用低通滤波校正阴影，提取阴影模式，用原图除以阴影得到未被遮蔽的图像

Ordrer-statistic Filter

与上面的区别：非线性

锐化（高通）空间滤波器

模糊操作通常会使图像变得柔和，减少细节，而锐化操作则会增强图像的边缘和细节。

平均操作通常用于平滑图像，减少噪声，而微分操作则用于检测图像中的边缘和变化。

锐化的总体目标：识别和增强图像中的不连续性（discontinuity），例如边缘（edges）。锐化滤波器的主要目的是突出图像中的边缘和细节，使图像看起来更加清晰和锐利。

求解一阶导数和二阶导数：与一阶导数相比，二阶导数可以增强更精细的细节，且所需的运算量更少，所以主要使用二阶导数锐化图像

画圈的地方二阶导数不为0，都是拐点

Laplacian Filter

这里的第一个filter就对应式（3.53），总之先求出f(x,y)的二阶导数，然后叠加到原始图像上（中心值为负则减，反之加）

如何用拉普拉斯滤波器增强边缘？添加回检测到的边缘（不确定是不是添加额外微分的意思），(b)核锐化效果更明显，因为添加了对角方向的额外微分

Highboost Filter

钝化掩蔽：k>1时，称为高提升滤波。主要通过获取模糊后的图像，计算出模板

较大的k值会不自然，e的对比度和清晰度更高

对于空间滤波器（也称为空间掩码）的总结：

练习

证明使用均值滤波器可以去噪，注意使用了方差的线性组合性质

Lec4 Spectral Filtering 光谱过滤

Transform

将原始信号转换为不同形式⇒前向变换

查看来自不同角度的原始信号⇒逆变换

必要性和重要性：从不同的角度来看图像。

好的转换很难找到。

傅里叶变换
拉普拉斯变换
小波变换

Fourier Transformation

用傅里叶级数或变换表示的函数可由逆过程完全重建（复原），而不丢失信息

计算优势C(m)>1，FFT计算优势更大；反之，空间滤波的优势更大

FFT相对于较大的空间核具有压倒性的优势

复数

通过欧拉公式得到极坐标下熟悉的复数表示，θ的范围是[-Π，Π]

傅里叶变换

t,μ都是连续变量，前者是时间变量，后者是频率变量

根据欧拉公式得到下式，FT是f(t)乘以正弦函数的展开式，其中正弦函数的频率由μ决定。因此积分后留下的唯一变量是频率μ，傅里叶变换域是频率域。

卷积性质：

对于复杂的滤波计算，完全可以利用卷积的性质先分别FT再乘，最后IFT

傅里叶级数

傅里叶级数和傅里叶变换的联系

相同点：傅里叶级数和傅里叶变换都源自于傅里叶原理得出；傅里叶变换是从傅里叶级数推演而来的，傅里叶级数是所有周期函数都可以分解成一系列的正交三角函数（内积为0是正交），这样，周期函数对应的傅里叶级数即是它的频谱函数。
不同点
1. 本质不同：傅里叶变换是完全的频域分析，而傅里叶级数是周期信号的另一种时域的表达方式，也就是正交级数，它是不同的频率的波形的叠加。
2. 适用范围不同：傅里叶级数适用于对周期性现象做数学上的分析（即仅适用于周期信号），傅里叶变换可以看作傅里叶级数的极限形式，也可以看作是对周期现象进行数学上的分析，同时也适用于非周期性现象的分析。
3. 周期性不同：傅里叶级数是一种周期变换，傅里叶变换是一种非周期变换。傅里叶级数是以三角函数为基对周期信号的无穷级数展开，如果把周期函数的周期取作无穷大，对傅里叶级数取极限即得到傅里叶变换。

Sampling采样

我们正在做数字信号处理，因此，以一种离散的方式进行思考总是很重要的——在实践中，它与采样有关。我们如何对一个连续的信号（函数）f(t)进行采样？我们如何用数学来表示它？

unit impulse

从0推广到t0，在任意一点t0可以取样：

如果想采样超过一个t？冲激串：把冲激放在一起

连续函数f(t)以Δt间隔取样的例子：

因为在t=nΔT处取样，其他地方都取非零值，所以可以写作：

FT of Impulse Functions

脉冲函数的傅里叶变换

利用在0点的取样性质（=f(0)）：注意单位冲激只在0点有值

在t=t0：=f(t0)

周期冲激串的FT

因为满足傅里叶级数的定义获得定义（周期为ΔT的连续变量t的周期函数f(t)）：
求和是线性过程，所以先获得分量的傅里叶变换（似乎是通过对称性得到的，但我没证过程）
最后对各分量进行求和。注意FT后依然是冲激串，周期为1/ΔT。注意周期呈反比关系。

卷积定理：

FT of Sampled Functions

目的：计算机处理前，连续函数必须转化为一系列离散值，要求取样和量化

取样序列中的任意一个取样值fk：

取样的FT：S(μ-t)代入上面求得的S(μ)

取样定理

取样率：1/ΔT

为了避免混叠，采样频率必须满足：取样定理

先得到F(μ)，再得到f(t)。理想低通滤波器的输入μ是低频的，所以可以消除所有较高的频率（欠采样会让F(μ)形状不对）

混叠

指取样后不同信号变得彼此无法区分的取样现象，混叠对再取样后无法区分，原因是取样率太粗，函数欠采样

由取样后的数据重建函数

二维的FT

TODO：可以对照着内容整理一维的

离散傅里叶变换DFT

DFT in 1D

从连续到离散：

得到离散的fm可以得到Fm，已知Fm时也可以通过IDFT复原样本集fm：

DFT in 2D

位移：前两个图是1维DFT移到中间，后一张图是2维DFT移到中间

卷积：

Interpreting FT频谱和相角（二维DFT）

可视化频谱|F(u,v)|：

分析移动后的矩形与原始矩形具有相同的频谱，这是怎么回事？ϕ就是相位，也称相角

相角图片得不到直观的信息，比如4.25a对应的并不是4.24c，而是4.23a

应用

图像边缘：高频，变化较快

H是filter，进行图像处理。第三列说明：对滤波器加小常数并不会明显地影响清晰度，但会阻止消除直流项，因此会保留色调

重建过程：就是进行IDFT

练习

求一个盒式函数的F(μ)=AWsinc(μW)，频谱就是求绝对值
1. 离散DFT：利用下式做题：

Lec5 Spectral Filtering续

Spectral Filters

频域和空域滤波之间关系

频域提供了一种新的观察图像（甚至远不止图像）的视角。

频域信息是全局性的 —— 每一项都包含了图像的所有信息，因此在空域和频域之间建立直观的联系并不容易。

低频元素通常对应于图像中的大面积、缓慢变化的区域，这些区域的颜色或亮度变化较为平缓，例如天空、墙壁等大面积的均匀区域。

高频元素通常对应于图像中的细节、边缘和纹理。这些区域的颜色或亮度变化较为剧烈，例如建筑物的窗户、门框、屋顶的边缘等。

频域的复杂度小，所以选频域：

通过上述操作得到的结果：

Lowpass Filters

Ideal Filter

中间的圆可以通过所有频率

使用低通滤波器在频率域平滑图像：效果不好，随着被滤除的内容减少，纹理中的振铃效应变得越来越弱

效果不好的原因：b是ILPF的空间表示h(x,y)，卷积使得b中的函数的一个副本在图像的每个像素位置中心化。这个空间函数的中心波瓣是导致模糊的主因，而外侧较小的各个波瓣是造成振铃效应的主因。

振铃效应：由于滤波器的特性，导致信号在突变点（如边缘）附近产生振荡现象，表现为在信号的突变点两侧出现一系列衰减的波动。

Guassian Filter

可以解决振铃效应：频率响应特性不同，所以同样是卷积，振荡不同

理想低通滤波器在频域中的频率响应是一个矩形函数。它完全通过低于截止频率的频率成分，而完全阻止高于截止频率的频率成分。这种突然的截断在数学上是完美的，但在实际中会带来问题。
理想低通滤波器的冲激响应（在时域中）是一个 sinc 函数（sinx/x）。这个函数有无限的振荡特性，意味着在图像的边缘和细节处会产生振铃效应。
高斯低通滤波器在频域中的频率响应是一个高斯函数。高斯函数是一个平滑的、钟形曲线，它在频域中没有突然的截断。
高斯低通滤波器的冲激响应（在时域中）也是一个高斯函数。高斯函数的特性是它在时域和频域中都是平滑的，没有尖锐的边缘。

D0是截止频率，表现为一个从中心开始的衰减范围，可以看作是高斯滤波器的“截止半径”。频域高斯滤波器直接对频率分量操作，更精确地去除高频或低频成分，但需要进行傅里叶变换和逆变换，计算代价较高。空域高斯滤波器直接在像素空间进行处理，计算简单，尤其适合小核操作，但在滤波强度和频谱控制上不如频域滤波器灵活。

与ILPF相比，实现的平滑稍少，关键区别是GLPF不会出现振铃效应

Butterworth Filter

BLPF

在保留理想滤波器的锐利度和减少其振铃效应之间取得平衡

模糊程度小于ILPF，大于GLPF

Highpass Filters

IHPF/GHPF/BHPF：

理想有严重的失真，由振铃效应导致

高通滤波和阈值处理可以一起使用（频域和空域方法可以同时使用）

Lalpacian Filter

利用偏微分性质求得频域下的算子

你还记得如何使用空间滤波器来增强图像中的锐利特征吗？highboost

lalpacian+highboost

Selective Filters

选择性滤波器的分类：

对频率矩形中的特定频带（band filters，带通滤波器）或小区域（notch filters，陷波滤波器）进行处理。
- 这里的频率矩形通常是指在频域中的一个二维区域，它代表了图像在频率域中的分布。带通滤波器用于选择并处理特定的频带，而陷波滤波器用于去除或削弱特定的小区域频率。
可以选择过滤掉（reject，拒绝）或允许通过（pass，通过）指定的频率。

相比高通低通，更加针对特定的频率范围，用C0和W限制范围

Band Filter

分为ideal/guassian/butterworth

把低通和高通函数相加得到高斯核巴特沃斯带阻函数有难度，d是修改后的得到的高斯

巴特沃斯性能位于理想和高斯之间

Notch Filter

陷波滤波器的主要功能：

修改频谱域中的特定区域，即过滤掉感兴趣区域内的信号
通常应用于未填充（un - padded）的图像，以避免填充（padding）带来的环绕误差

可以删除数字化印刷物图像中的莫尔模式、去除周期干扰

Lec6 图像恢复

问题形成

与图像增强的对比很重要！

图像增强（Enhancement）
- 定义为一种带有主观标准（subjective criteria）的启发式过程（heuristic procedure）。
- 目标是锐化感兴趣的特征（sharpen interested features）。
图像复原（Restoration）
- 定义为一种带有客观标准（objective criteria）的逆过程（inverse procedure）。
- 目标是恢复退化前的原始图像（recover the original image before degradation）。

图像退化的示例：

optical blur（光学模糊）
- 这是第二张图像，显示了由于光学原因导致的模糊效果。这种模糊通常是由镜头问题、对焦不准确或相机抖动等因素引起的。
motion blur（运动模糊）
- 第三张图像展示了运动模糊的效果。这种模糊通常发生在拍摄对象或相机在曝光过程中移动时，导致图像中的对象看起来模糊不清。
spatial quantization (discrete pixels)（空间量化，离散像素）
- 第四张图像显示了空间量化的效果，图像看起来像是由离散的像素块组成。这种情况通常发生在图像的分辨率较低或者在图像压缩过程中，导致图像细节丢失，呈现出块状的外观。
additive intensity noise（加性强度噪声）
- 最下方的图像展示了加性强度噪声的效果。这种噪声通常表现为图像中随机出现的亮点或暗点，会降低图像的质量和清晰度。

图像复原的背景

由于成像过程中的畸变（distortions），采集到的数据与真实图像不同。例如：
- 拍摄对象与相机之间的相对运动（Relative motion between subject and camera）
- 由于衍射导致的有限带宽图像（Band - limited image due to diffraction）
- 噪声干扰（Corruption by noise）
- 数据缺失（Missing part of data）

图像复原的目标：设真实图像为f(x,y)，采集到的图像为g(x,y)，目标是尽可能从g中恢复出f。

图像复原的方法：为了实现这一目标，首先需要一个模型（model）来描述和之间的关系。g是采集到的图像，f是恢复后的图像

在数学上是个不适定问题，解决这类问题依赖于优化和适当的正则化

Noise-only Model

认为h(x,y)=1，该模型的关键在于如何描述噪声

为什么我们要费心去计算噪声的平均值/方差呢？为什么我们要关心这些类型的噪音呢？

高斯噪声（Gaussian）描述：电子电路 / 传感器因光照不足和 / 或高温引起的噪声。
瑞利噪声（Rayleigh）描述：距离成像中的噪声现象。
指数和伽马噪声（Exponential and Gamma）
椒盐噪声（Pepper - and - Salt）

周期性噪声：另一种类型的噪声，它发生在图像采集和 / 或传输过程中的电气或机电干扰

你能想到哪些滤波器来消除高斯噪声呢？使用这种过滤器背后的理论支持是什么？

Spatial Filters

Spectral Filters

下图使用陷波滤波器：

用空间filter或者频域filter

Degradation-only Model

如果我们知道退化算子h，你能否设计一个流程来从g中恢复f？

有两个重要的问题：1.我们如何知道/估计退化函数h/H？ 2.如果我们有噪音怎么办？

估计退化函数H

观测法；2. 实验法；3. 数学建模法

间接建模：实验法

直接建模：

case1:对大气湍流进行建模，并且考虑了物理因素（如环境条件）：

case2:模型是从基本原理推导出来的，比如这里的H(u,v)

Full Model

逆滤波

H退化函数已知，最简单的复原方法就是直接逆滤波，即G/H

low-pass因为模糊

直接逆滤波性能较差，因为没有明确处理噪声，噪声会被放大

Wiener Filter

K=1/信噪比，所以考虑了噪声

可以推广到几何平均滤波器

Lec7 彩色图像处理

彩色基础

为什么用彩色？

颜色是一种强大的描述符，可以简化物体检测和识别。例如，利用皮肤颜色进行人脸检测。
人类对颜色的分辨能力比对灰度级的分辨能力要强得多。事实上，人类可以分辨数千种颜色和色调，但只能分辨二十几种灰度。

色谱：无颜色突然结束-连续光谱

CIE色度图

CIE XYZ Color Model是国际照明委员会（CIE）提出的一种色彩模型，用于标准化颜色的表示

颜色在色度图中均匀分布

彩色模型和彩色转复术

RGB

CMY(K)

为什么添加黑色？因为用三原色生产黑色很难产生，而是深棕色

RGB与CMY的转换：

HSI

ppt没讲转换的公式

彩色图像处理

两种类型的彩色数字图像处理

伪彩色图像处理（Pseudo - color image processing）
- 在早期，没有彩色传感器和处理硬件。
- 颜色被分配给一系列单色强度。
全彩色图像处理（Full - color image processing）
- 图像是从全彩色传感器或设备获取的。
- 到目前为止学到的许多灰度图像处理方法可以很容易地转换为彩色处理（但不总是！）

Pseudo Color

为什么有伪彩色？

人眼对灰度和颜色的分辨能力
- 在单色（灰度）图像中，我们通常只能分辨出大约 30 种不同的灰度。
- 与此同时，我们能够分辨出数百种不同的颜色。
伪彩色的定义
- 伪彩色（Pseudo - coloring）是指人为地将颜色分配给灰度级。
伪彩色的应用目的
- 为了便于人类对灰度级事件的可视化和解读。

强度分层：将图像的强度值进行分区，并为每个分区分配不同的颜色

灰度到彩色的转换：

Full Color Image Processing

坐标(x,y)处的一个像素是颜色空间中的一个向量。

类似于强度变换，颜色变换可以表示为：

与component无关的转换：

彩色变换、补色、彩色分层、色调和彩色校正、彩色图像的直方图分析

彩色图像平滑和锐化（拉普拉斯对每个RGB）

使用彩色分割图像：HSI并不总是比RGB好。例如，当任务更多地涉及颜色信息时，我们将使用RGB。

彩色图像中的噪声

Lec8 图像压缩和水印

图像压缩

压缩基础
无损压缩
有损压缩

图像水印

Lec9 图像分割

Overview

间断性检测

数学工具
边缘检测
形成边

分割

阈值
区域分割和合并
聚类和超像素