医学图像处理和视频图像处理？

一、医学图像处理和视频图像处理？

医学图像更多的三维重建(体绘制和面绘制)，分割，配准，识别等。视频应该就是目标跟踪，检测之类的吧。技术上有交叉，也有区别，像三维重建就属于图形学的内容，不完全属于视觉的内容

二、请问大家AI图像处理与传统图像处理各自有何优劣？

从事深度学习研究两年，谈一谈个人经历及感受。

传统图像处理方法：特征提取主要依赖人工设计的特征提取器，需要有专业知识及复杂的调参过程，同时每个方法都是针对具体应用，泛化能力及鲁棒性较差。传统图像算法能解决某些特定场景的、可人工定义、设计、理解的图像任务。特定场景效果好，但普遍泛化性弱，可解释性更强，性能一般更好，但调参依赖专业知识和经验。目前在某些极端低算力场景、特定海量处理场景仍有一定应用价值。

深度学习方法：主要基于数据驱动进行特征提取，根据大量样本的学习能够得到深层的、数据集特定的特征表示，其对数据集的表达更高效和准确，所提取的抽象特征鲁棒性更强，泛化能力更好，并且可以是端到端的。缺点是样本集影响较大，算力要求较高。深度学习能够解决更多高级的、语义级别的、只能抽象描述的图像识别、检测、风格、创造性的问题。优点是效果优异、泛化更好、可端到端训练、无需复杂调参，仍处于蓬勃发展的时期；但算力、数据消耗大，可解释性目前很弱。

综上所述，深度学习方法逐渐成为主流，传统方法依然有用武之地。

三、图像处理别称？

图像处理(image processing)别称ps，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。可以说是包括了PS。

图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。

图像处理技术的一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。 常见的系统有康耐视系统、图智能系统等，目前是正在逐渐兴起的技术。

四、程序员图像识别

在当今数字化社会中，程序员图像识别技术正扮演着愈发重要的角色。随着人工智能和机器学习的迅猛发展，图像识别已经不再局限于科幻电影中的虚构场景，而是真实应用于各个领域，给人们的生活和工作带来了诸多便利。

程序员图像识别的基本概念

简单来说，程序员图像识别是一种利用计算机对数字图像进行分析和处理的技术。通过对图像中的像素进行识别、分类和理解，计算机能够识别出图像中的内容和特征，进而进行各种复杂的应用，比如人脸识别、车牌识别、医学影像分析等。

程序员图像识别的发展历程

早期的图像识别技术局限于简单的图案和颜色识别，受限于硬件性能和算法复杂度，应用范围有限。随着深度学习和神经网络的兴起，特别是卷积神经网络（CNN）的出现，图像识别技术取得了革命性的突破，性能大幅提升，识别准确率不断提高，逐渐应用于更多领域。

程序员图像识别的应用领域

• 安防监控：程序员图像识别技术在安防领域得到广泛应用，可以实现人脸识别、行为分析等功能，帮助提升监控系统的智能化。
• 医疗影像：在医学影像诊断中，程序员图像识别可以帮助医生准确识别疾病和异常情况，提高诊断效率。
• 智能交通：程序员图像识别可以用于车辆识别、交通监控等场景，提升交通管理的智能化水平。
• 零售行业：在零售领域，程序员图像识别可以用于商品识别、优惠信息推荐等，提升用户体验和销售效果。

程序员图像识别的挑战与未来

尽管程序员图像识别技术取得了巨大的进步，但仍面临着诸多挑战，比如对大规模数据的处理能力、对复杂场景的理解能力等。未来，随着计算机硬件性能的不断提升和算法的不断优化，程序员图像识别技术将在更多领域实现突破，为人类带来更多的便利和惊喜。

五、图像处理方面有什么好书？

1. 基础类：《Digital Image Processing》（3rd Edition），2007

－介绍经典算法

2. 前沿类：《Computer Vision: Algorithms and Applications》，2011

－介绍最新进展

3. 程序解读类：《Digital Image Processing Using Matlab》（2nd Edition），2009

《Learning OpenCV: Computer Vision with the OpenCV Library》，2008

－编程指导

以上供参考！

------------------------------------------------------

抱歉，没看题干，罗嗦了一堆！

推荐一篇二值化算法经典的综述性文献：《Evaluation of Binarization Methods for Document Images》，现在的算法多数是在这篇文章中介绍的方法基础上扩展的。

六、信号处理包括图像处理吗？

信号处理包括图像处理的。信号处理是数学、计算机科学、信息和电气工程的一个分支，涉及信号的分析、合成和修改，广义地说，其中信号被定义为传递“关于某些现象的行为或属性的信息”的函数， 如声音、图像和生物量。

信号处理可用于特征提取，如图像理解和语音识别。 质量改进，如降噪、图像增强和回声消除。 (信源编码)，包括音频压缩、图像压缩和视频压缩。

七、传统图像处理还有前景吗？

直观认识

没有数据集时，深度学习说，这事我干不了。试试SIFT等手工特征吧。

不考虑速度和算力成本时，手工特征说：深度学习带带我，我抱你大腿，能改善性能。别扔下我不管。要考虑时，手工特征说，深度学习就是高射炮，打蚊子不如电蚊拍，又快又准。2020年出了个新的局部描述子。

传统图像处理: 依赖手工特征(有理有据，可解释。但天花板就是设计特征的人的思维？)深度学习： 依赖模型学到的特征。用算力 来突破工程师的脑力和想象力 (贫穷限制了我的想象力, 因为买不起GPU)。难解释。【但人脑的机理现在也解释不清啊，不也用了起码上千年吗】

具体对比

传统 CV 技术：

* 基于特征 * 这些传统方法包括：

• 尺度不变特征变换（Scale Invariant Feature Transform，SIFT）
• Speeded Up Robust Feature，SURF
• 基于加速分割测试的特征（Features from Accelerated Segment Test，FAST）
• Hough transform
• Geometric hashing

特征描述子（如 SIFT 和 SURF）通常与传统机器学习分类算法（SVM和KNN）结合使用，来解决 CV 问题。

传统CV方法的优点：

1.快, 2.不强求gpu 3.透明.

可以判断解决方案能否在训练环境外有效运转。 CV 工程师了解其算法可以迁移至的问题，这样一旦什么地方出错，他们可以执行调参，使算法能够有效处理大量图像。

深度学习有时会「过犹不及」，传统 CV 技术通常能够更高效地解决问题，所用的代码行数也比深度学习少。 SIFT，甚至简单的色彩阈值和像素计数等算法，可对任意图像执行同样的操作。 相反，深度神经网络学得的特征是特定于训练数据的。

因此，SIFT 等算法通常用于图像拼接/3D 网格重建等应用，这些应用不需要特定类别知识。 这些任务也可以通过训练大型数据集来实现，但为一个封闭应用费这么大劲并不实际。

ref: 机器之心：传统计算机视觉技术落伍了吗？不，它们是深度学习的「新动能」

目前深度学习还不能一统天下的方向(传统方法的用武之地)：

1. 3D视觉(3D CNN 的计算复杂度随着分辨率呈现三次方增长。)
2. 数据增强：人们希望数据增强步骤 需要极少的计算，且可在深度学习训练流程中实现，这样变换后的图像就不必存储在磁盘中了。 PCA、噪声添加、在特征空间的样本之间进行内插或外推(Mixup等方法？)，以及基于分割标注，建模视觉语境周边物体。
3. 在低成本微处理器上处理简单场景。 例如，对流水线传送带上的两类产品进行分类，一类是红色一类是蓝色。深度神经网络需要首先收集充足的训练数据。然而，使用更简单、快速的色彩阈值方法也能达到同样的效果。

手工特征+深度学习 = （maybe)到又快又准：

某论文：

将 乘积累加运算 减少到深度学习方法的 130-1000 分之一，帧率相比深度学习方法有 10 倍提升。此外，混合方法使用的内存带宽仅为深度学习方法的一半，消耗的 CPU 资源也少得多。

过去4年内的论文有做:

0. iccv2019

1. Local Learning With Deep and Handcrafted Features for Facial Expression Recognition

2. Editorial Image Retrieval Using Handcrafted and CNN Features

In this work, we present a combined feature representation based on handcrafted and deep approaches, to categorize editorial images into six classes (athletics, football, indoor, outdoor, portrait, ski).

3. Using CNN With Handcrafted Features for Prostate Cancer Classification

Our model combines both convolutional neural network (CNN) extracted features and handcrafted features. In our model, the input data is sent into two subnets. One is a modified ResNet with an improved spatial transformer (ST) for high dimension feature extraction. The other subnet extracts three handcrafted features and processes them with a simple CNN. After those two subnets, the output features of the two subnets are concatenated and then sent into the final classifier for prostate cancer classification. Experimental results show that our model achieves an accuracy of 0.947, which is better than other state-of-the-art methods

4. Feature Engineering Meets Deep Learning: A Case Study on Table Detection in Documents

…… As a side effect, decades of research into hand-crafted features is considered outdated. In this paper, we present an approach for table detection in which we leverage a deep learning based table detection model with hand-crafted features from a classical table detection method. We demonstrate that by using a suitable encoding of hand-crafted features, the deep learning model(DL为主 手工特征为辅) is able to perform better at the detection task. comparable with the state-of-the-art deep learning methods without the need of extensive hyper-parameter tuning

5. Object detection on deformable surfaces using local feature sets， 2017

randomly oriented objects in pick-and-place systems. Feature matching algorithms such as SIFT, SURF etc. usually fail when there are multiple instances of same object and object shape deformation problems in the scene. we present an approach which uses SURF feature sets consisting of local neighbor features for matching and hierarchical clustering for estimating object center. Using extracted local neighbor features and their descriptors, our algorithm finds more number of true-positive matches among features and improves the detection in the case of deformation and multiple instances.

6. Engineering Hand-designed and Deeply-learned features for person Re-identification

cv离不开opencv，opencv2020年的更新：

• 更好的SIFT（Better SITF）
• RANSAC的改进 RANSAC, 随机一致性采样, 主要解决样本中的外点问题，最多可处理50%的外点情况。
• penCV 4.5.1中最令人兴奋的特性之一： BEBLID (Boosted Efficient Binary Local Image Descriptor 二值图像局部描述子)：2020年引入的一个新的描述符，改善了ORB [ 导向快速和旋转jianduan：有10年的历史，效果好]。提高图像匹配精度，同时减少执行时间！只需更改一行代码，将ORB描述符替换为BEBLID ，就可以将这两个图像的匹配结果提高14%。这在需要局部特征匹配的高级任务中, 比如姿态估计, 计算视差图(用于深度估计), 会产生很大影响

ref: 修改OpenCV一行代码，提升14%图像匹配效果_OpenCV中文网-CSDN博客ref: 图像局部特征点检测算法综述 - ☆Ronny丶 - 博客园

• OpenCV一直引入新论文的算法,包括DL.
• 基于GMM的MOG2, 被AIC比赛的获奖队伍用于背景提取。(应该是因为可以直接调用。换成深度学习的方法, 效果可能更好, 但实现起来更复杂。) https://docs.opencv.org/master/d0/de3/citelist.html#CITEREF_MOG2001

科学哲学？

（个人抒发千古骚情时间）

手工特征是具体的，固定的，可描述的。深度学习的特征，尤其是深层网络的特征，是抽象的，semantic的，人类难描述的。但人类自己如何分辨猫和狗，有时也难用语言描述。

如果把手工特征比喻成常量，深度特征就是变量。手工特征，如角点，是深度特征的子集。

大道无形，“水无形而有万形，水无物能容万物”。

唯有不囿于“形”，方能窥见“神”。

人类无法理解与解释的特征，可能机器容易理解与解释。毕竟人眼看山还是山，但机器看山不是山，看水不是水，看到的是RGB, HSV, Lab，是pattern，是高斯分布。

八、图像处理的过程？

一、基本步骤

1、图像预处理，包括高斯滤波，图像去噪，图像增强等

2、图像分割

3、孔洞填充

4、连通域标记

5、特征提取

6、结果输出

二、图像的预处理

为了方便计算，系统通常将获取的图片灰度化。将彩色图像转化成为灰度图像的过程就称为图像的灰度化处理。彩色图像中R、G、B三个分量的值决定了具体的像素点。一个像素点可以有上千万种颜色。而灰度图像是一种彩色图像，但是它的特点在于R、G、B三个分量具体的值是一致的。灰度图中每个像素点的变化区间是0到255，由于方便计算，所以在实际工程处理中会先将各种格式的图像转变成灰度图像。在保留图像轮廓和特征的基础上，灰度图仍然能够反映整幅图像轮廓和纹理。在Opencv里面有实现图像灰度化的接口。调用OpenCV中的cvSmooth函数进行中值滤波处理，以去除细小毛刺。

三、图像二值化

局部自适应二值化是针对灰度图像中的每一个像素逐点进行阈值计算，它的阈值是由像素的邻域内的点的局部灰度特性和像素灰度值来确定的。局部阈值法是逐个计算图像的每个像素灰度级，保存了图像的细节信息，非均匀光照条件等情况虽然影响整个图像的灰度分布，却不影响局部的图像性质，但也存在缺点和问题，相比全局阈值法来说，它的计算时间较长，但适用于多变的环境。

四、缺陷检测六大基本方法

1. blob + 特征

2. blob + 特征+ 差分

3. 频域 + 空间域

4. 光度立体法

5. 特征训练（分类器，机器学习）

6. 测量

九、什么是图像处理？

图像处理(imageprocessing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。可以说是包括了PS。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术的一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。常见的系统有康耐视系统、图智能系统等，目前是正在逐渐兴起的技术。 　　在计算机中，按照颜色和灰度的多少可以将图像分为二值图像、灰度图像、索引图像和真彩色RGB图像四种基本类型。大多数图像处理软件都支持这四种类型的图像。

十、视觉图像处理证书？

直接考PS认证就行了，非常有用的。