三年前协议离婚，他有外遇，我刚生好双胞胎，孩子一岁去办了手续，说好孩子归我，每月给我生活费一万，孩子的学费和医疗费一人一半，房子我们共同贷款，名字是我们两个，离婚协议上写好房子归我，他继续还贷，但由于还在还贷所以他名字暂时不能去掉，去年他结婚了，女方带个孩子，现在他好象有意向要夺回孩子，我收入四千，他四五万，学历也比我高，如果他走法律程序要回孩子，我胜率高吗？该怎么处理？