如果机器人有灵魂，那它的“眼睛”一定是感知世界的第一个窗口。
没有视觉的机器人，就像一个蒙着眼的人，只能靠触摸和记忆摸索前行。而一旦装上摄像头，世界瞬间被点亮——它能认出桌上的水杯，能判断门把手的距离，能读懂交通标志，甚至能捕捉到你嘴角那一丝不经意的微笑。
那么，这台神奇的“眼睛”到底是如何工作的？这一节，我们从零开始拆解。
一切始于一个光子。
当你拿起手机对准桌上的水杯按下快门时，光线从水杯表面反射出来，穿过镜头，最后撞击在相机内部一块叫做图像传感器的半导体芯片上。这块芯片上密密麻麻排列着数百万个微小的感光单元，每一个叫做一个像素。对于一块1920×1080分辨率的传感器来说，上面有超过200万个这样的像素在同时工作。
每个像素的核心是一个光电二极管。当光子击中它时，会激发出电子。光越强，激发的电子就越多。于是，一整幅画面的明暗信息，就被转化成了数百万个电信号强度的数值。
但这里有一个问题：这些数值只记录了光的强度，不记录颜色。
为了让传感器能分辨颜色，工程师们想了一个巧妙的办法：在每个像素上覆盖一层微小的彩色滤光片。这个方案叫做拜耳模式，由柯达公司的布莱斯·拜耳在1974年发明，至今仍被绝大多数数字相机采用。
拜耳模式长这样：它只用三种颜色——红、绿、蓝——来覆盖所有像素。但它们的分布不是均匀的。每四个像素构成一个基本单元，包含1个红色滤镜、1个蓝色滤镜和2个绿色滤镜。 所以你会看到像棋盘格一样的排列：
R G R G R G ... G B G B G B ... R G R G R G ...
为什么绿色要占一半？因为人眼对绿色波长的光最敏感。拜耳滤镜刻意模仿了人眼的这种特性，让传感器采集到的亮度信息更接近我们人类看到的样子。
这样，每个像素只接收红、绿、蓝中的一种颜色。红色滤镜像素告诉我们“这里红光有多强”，绿色和蓝色滤镜像素也各司其职。但问题又来了——每个像素仍然只知道自己这一种颜色的强度，它的邻居是什么颜色，它并不知晓。
为了让每个像素都拥有完整的三原色信息，我们需要去马赛克这一关键步骤。
假设你是一个绿色像素，你只知道绿光的强度，但不知道红光和蓝光。怎么办？答案很简单：看看你的邻居。 算法会观察这个绿色像素周围最近的几个红色像素和蓝色像素，用它们的平均值来估算你这里缺失的红色和蓝色分量。
经过这样一套运算，原本每个像素只有一种颜色的原始数据，被插值成了每个像素都有 $(R, G, B)$ 三个通道的完整图像。
这里可以表达为：对于坐标为 $(i,j)$ 的像素，其最终的像素值 $P_{ij}$ 是一个三维向量：
$$ P_{ij} = \begin{bmatrix} R_{ij} \ G_{ij} \ B_{ij} \end{bmatrix} $$
其中每个分量的取值范围通常是 $[0, 255]$ 之间的整数。$(0,0,0)$ 代表纯黑，$(255,255,255)$ 代表纯白，$(255,0,0)$ 则是纯红。
至此，一堆光电二极管里跳动的电信号，经过拜耳滤镜采样和去马赛克插值，变成了一张由数百万个 $(R,G,B)$ 三元组构成的数字图像。
从计算机的角度看，一张彩色图像并不是一个二维矩阵，而是一个三维张量。
假设一张图的高度为 $H$ 像素，宽度为 $W$ 像素，那么它在内存里的形状就是：
$$ \text{Image} \in \mathbb{R}^{H \times W \times 3} $$
那三个通道分别对应红色、绿色和蓝色。如果你把一张彩色图拆开来看它的三个通道，会发现红色通道里，苹果的红色区域很亮；绿色通道里，背景的树叶很亮；蓝色通道里，天空的部分很亮。把三张灰度的通道图叠在一起，世界就有了颜色。
现在，是时候动手了。
你的笔记本电脑上那个小小的摄像头，就是一台标准的RGB相机。它和装在机器人头上的摄像头遵循完全一样的原理：光电转换、拜耳滤镜、去马赛克，最终输出 $(H \times W \times 3)$ 的彩色图像数据。
我们要做的事情很简单：写几行代码，打开这个摄像头，捕捉一帧画面，并把它保存为你的第一张“机器人视角”的照片。
打开你配好的Python环境，输入以下代码：
import cv2
# 打开默认摄像头（通常是索引0）
cap = cv2.VideoCapture(0)
# 检查是否成功打开
if not cap.isOpened():
print("无法打开摄像头，请检查设备连接")
exit()
# 读取一帧画面
ret, frame = cap.read()
if ret:
# 将这一帧保存为图片文件
cv2.imwrite("my_first_robot_view.jpg", frame)
print("成功！你的第一张机器人视角照片已保存。")
# 查看图像的形状
print(f"图像尺寸（高度, 宽度, 通道数）：{frame.shape}")
else:
print("读取画面失败")
# 释放摄像头
cap.release()
运行这段代码。你会在当前文件夹里看到一个名为 my_first_robot_view.jpg 的文件。打开它——这张照片就是你的程序“看到”的世界。
接下来，你可以尝试打印出某个像素的 ( R , G , B ) (R,G,B) 值：
# 读取刚才保存的图像
img = cv2.imread("my_first_robot_view.jpg")
# 注意：OpenCV读取的图像通道顺序是BGR而不是RGB
# 我们取坐标(100, 200)处的像素值
pixel_bgr = img[100, 200]
print(f"坐标(100,200)处的BGR值：{pixel_bgr}")
# 如果想看RGB顺序，反转一下
pixel_rgb = pixel_bgr[::-1]
print(f"坐标(100,200)处的RGB值：{pixel_rgb}")
你可能会看到一个类似 [156, 203, 118] 的数值。这三个数字，就是你电脑屏幕上那一个像素点在那一刻所感知到的全部色彩信息。
一张照片之后：通向感知的门 手里拿着这张照片，你就站在了机器人视觉的起点。
此刻它还只是一堆数字。但下一节，我们将在这一堆数字之上，构建出深度信息、目标检测、语义分割……一步步地，让机器人不仅能“看到”世界，更能“看懂”世界。
照相机是时间的定格，而机器人的眼睛，是行动的开端。
回顾一下这一节你做了什么。你理解了光电二极管如何把光变成电，拜耳滤镜如何从黑白中“编”出颜色，去马赛克算法如何补全每个像素缺失的色彩信息。然后，你亲手打开了电脑摄像头，写了几行代码，捕捉到了你人生中第一张“机器人视角”的照片。
这件事情的意义，比你此刻感受到的更大。因为在人工智能的整个链条里，视觉是连接物理世界和数字智能的第一座桥。 今天你跨过了这座桥，从下一节开始，我们将在这张RGB图像的基础上，一层一层地建起感知的高塔。
准备好了吗？我们继续。