离婚时双方都不要孩子的，先行裁定暂由一方抚养孩子。根据法律规定，父母对未成年子女负有抚养、教育和保护的义务。父母不履行抚养义务的，未成年子女有要求父母给付抚养费的权利。对拒不履行或者妨害他人履行生效判决、裁定、调解书中有关子女抚养义务的当事人或者其他人，可以对其采取强制措施。
法律依据:
《最高人民关于适用<中华人民共和国民法典>婚姻家庭编的解释（一）》第六十条
在离婚诉讼期间，双方均拒绝抚养子女的，可以先行裁定暂由一方抚养。
第六十一条
对拒不履行或者妨害他人履行生效判决、裁定、调解书中有关子女抚养义务的当事人或者其他人，人民可依照民事诉讼法第一百一十一条的规定采取强制措施。
