本发明涉及自动驾驶技术领域，特别涉及一种基于视觉传感的自动驾驶系统及方法，方法包括基于骨架识别对车辆采集到的人体信息预测人体下一个时刻的位置；采集地图数据、车辆传感器数据、以及车辆当前位置和目的地位置信息；根据采集的信息建立路径模型，根据预测的人体位置使用基于人工势场的粒子群算法更新每个时刻车辆行进路线；判断车辆是否到达目的地，若到达则结束自动驾驶；本发明克服了单独使用粒子群算法时求解速度慢的问题和单独使用人工势场算法时容易陷入局部最优解或在局部震荡的情况，并极大的提高了车辆行驶的安全性。