本发明公开了一种基于WiFi的手写字母识别方法及系统，所述方法包括如下步骤：步骤A1：使用者在AP和STP之间书写手写字母的同时，利用数据收集模块收集反映环境状态变化的WiFi信号。步骤A2：从WiFi信号中提取信道状态信息。步骤A3：对信道状态信息进行相位解卷绕和相位校正操作。步骤A4：将数据输入到卷积神经网络，其中包括：输入层，Inception模块，深度连接层，批规范化层，ReLU层,平均池化层，dropout层，全连接层，softmax层，分类层。采用动量梯度下降法训练网络。步骤A5：经过训练后的卷积神经网络模型应用于手写字母识别。本发明克服了传统的动作识别需要携带可穿戴式设备的限制并且避免了隐私泄露的风险。使用改进的卷积神经网络进行动作识别，提高识别精度。