根据劳动合同法的规定，用人单位只在两种情况下可以与劳动者约定违约金。

一、专业技术培训违约金

根据劳动合同法第二十二条，专业技术培训违约金应当符合以下几个条件：

1、用人单位为劳动者提供专项培训费用，进行专业技术培训，并与劳动者订立协议，约定服务期。

2、劳动者违反关于服务期的约定。

3、违约金的数额不得超过用人单位提供的培训费用。

4、用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分应分摊的培训费用。

二、竞业限制违约金

根据劳动合同法第二十三条，竞业限制违约金应当符合以下几个条件：

1、用人单位与劳动者在劳动合同中对保守用人单位的商业秘密和知识产权进行了相关约定。

2、用人单位在劳动合同中约定竞业限制条款，并约定在解除或终止劳动合同后，在竞业限制期限内按月给予劳动者经济补偿。

3、竞业限制的人员限于用人单位的高级管理人员、高级技术人员和其他负有保密义务的人员。

4、竞业限制的约定不得违反法律、法规的规定。

5、竞业限制期限不得超过二年。

除以上两种情况外,用人单位不得与劳动者约定由劳动者承担违约金.