二手房的烦恼

我是个普通的厂里员工，为了孩子能在南京上学，我东拼西凑付了个首付，在江宁买了套二手房。现在贷款已经到房主账上，房子早已经过户了，房主拒绝物业交接，我拿房产证等相关证件，自己去物业取了钥匙和相关附件，违法吗？第一次银行说我信用卡有逾期没有下款，后来换了家银行贷款下了，现在原房主要我赔偿他违约金，说因为我的原因导致房款拖延了时间，从第一次没下款开始算，每天总房款的千分之一，总计6万多。但是我们的合同上没有写具体的付款时间，只是写了剩余款有贷款银行直接支付给卖家，并没有其他的。这样我算违约吗？还有个问题合同是他女儿签的，签的也是他女儿的名字，但过户和贷款房主本人去的，这合同有效吗？他说不给钱就去法院告我！还说他可以随时撤销合同！我要入住装修原房主不让，还在电话里说要找人打我，说他有的是钱打了也赔得起，可惜我没有录音！哎！有朋友推荐我去找江苏城市频道，但我不知道该如何操作，有知道的教教我！谢谢了！问题比较多！急急急！