也就是说，公司的工厂和我的办公地点不一样。最近可能说我不想搬到工厂工作

一般来说是不符合规定的。
工厂搬迁，需要提前一个月通知员工，如不提前通知需要负相应的民事赔偿责任的。
工厂搬迁，如果新地址是劳动合同约定的范围，且在当初建立劳动关系的时候公司予以了事先告知，劳动者应当服从。反之，属于劳动合同法第四十条第三款所说“劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行”的情形，用人单位应当与劳动者协商，愿意去的变更劳动合同，到新地址继续履行合同；不愿意去的，应当提前30天书面通知或者额外支付一个月工资解除合同，并按劳动者本单位工作年限每年支付一个月本人工资经济补偿金。

✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
法律分析：具体情况具体分析，如果公司变更工作地点未对劳动者的合同目的产生较大不利影响，也没有给劳动者履行劳动合同造成实质困难，劳动者应当配合；如果公司变更工作地点严重影响劳动者劳动合同目的实现，在劳动者拒绝的情况下，则不应对劳动者产生约束力。法律依据：《中华人民共和国劳动合同法》 第十七条 劳动合同应当具备以下条款：（一）用人单位的名称、住所和法定代表人或者主要负责人；（二）劳动者的姓名、住址和居民身份证或者其他有效身份证件号码；（三）劳动合同期限；（四）工作内容和工作地点；（五）工作时间和休息休假；（六）劳动报酬；（七）社会保险；（八）劳动保护、劳动条件和职业危害防护；（九）法律、法规规定应当纳入劳动合同的其他事项。 劳动合同除前款规定的必备条款外，用人单位与劳动者可以约定试用期、培训、保守秘密、补充保险和福利待遇等其他事项。
✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
劳动法没有规定工厂搬迁多远距离才给与补偿，按照劳动合同的约定或者法律规定，如单位单方改变公司的工作地点，且拒绝考虑劳动者意愿，根据公司处理方案，可能构成违法解除，可以申请劳动仲裁，主张经济赔偿金或补偿金。法律依据：《中华人民共和国劳动合同法》第四十条第(三)项规定，劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的(情势变更原则)。在与用人单位协商不成达成一致的情况下，可以申请劳动仲裁要求支付经济补偿金。