我是一名在读大学生，这个寒假从济南来到上海打工，和公司签订了到2月5号的合同，还有公司签了由劳务公司代发工资的协议，里面没有说明违约金一事，因家里有急事，和公司申请了1月31号提前离职，公司同意了，可中介不同意，说要扣我们的违约金，我们并没有和他们签协议，我们该怎么办，求好心人解答，我们做家政，这几天天气很冷，我们的手脚都冻伤了，代理除了从我们工时里抽钱，还要拿什么违约金，这样一来，我们一天挣不了几个钱，求好心人帮帮忙，谢谢