把房子托给中介代理出租，租金按季度付费，（应该是季度前付费，但是合同上没明确写），现在是季度第2个月还没给钱，第3月刚开始，合同规定，中途欲收回房屋中介可以拒绝，收房只能违约，违约金是2个月租金我现在想收回房子，但是他说要收回，之前一季度的租金不给我，我还得在支付2个月租金做违约金我有权利要回我季度的租金吗？

自然是可以的，租金是你的应得利益，违约需要付的违约金是另一回事，无论你是否写了按季度结款，在合同终止的时候需要取得租金是没有问题的，即便写了按季度收取，在没有满一季度时，合同终止也应当支付实际租金。所以说本案中，中介要求支付违约金是合理的，但是拒绝支付租金是不合理的。必要时可以依法向法院提起诉讼。