我通过置换，想把原来的房屋卖掉，换一套大些的房屋。我的房产买家付了我3万定金，签了居间合同，约定2个月后付首付并签订房屋买卖合同。之后，我又看中了一套房产，付了5万定金。现在我的买家突然不买了，定金他也不要了，这样我就没有办法买房了，必然造成我也违约，可我定金付了5万，这之间的差价损失我该怎么办？