Quieres SOLO los pedidos que no tienen ningún cliente_id coincidente.
SELECT pedidos.id
FROM ON clientes.id=pedidos.cliente_id
WHERE clientes.id IS NULL
El JOIN que conserva todos los pedidos