为什么自然语言处理要从规则转向统计方法？

基于统计的自然语言处理在哲学上是经验主义，基于规则的自然语言处理在哲学上是理性主义。在哲学领域，经验主义和理性主义之间的斗争一直在变化，而这种矛盾和斗争也反映在具体的科学上，比如自然语言处理。但理性主义还是有很多优点的，经验主义也有很多缺陷，算是各有千秋吧。但是，我个人不赞成一棍子打死“理性主义”的态度，就像老乔不该一棍子打死“经验主义”一样。我也不赞成某些知心朋友“理科战胜文科”的说法。不同的学科有不同的研究角度，只能说某些角度在特定的历史时期对提高生产力“更有用”，所以关注的人更多。但“有用”不代表胜利，暂时的“无用”也不能说是科学层面上的“失败”。尤其是在中文自然语言处理发展还不成熟的时期，认为基于统计的方法在很多方面还不完善，“理性主义”的作用还是很大的，需要更多人的关注和帮助。