Proxies
Toda requisição sai por um proxy: o nosso ou o seu. Nunca pelo nosso próprio endereço, que é a única razão de tudo isso funcionar.
O pool gerenciado
O padrão. Endereços residenciais, rotacionando a cada requisição, com o país de saída na sua mão. O tráfego é medido: o primeiro megabyte de cada requisição está incluso e o resto é cobrado por megabyte.
Escolhendo o país
{
"url": "https://example.com",
"proxy": { "pool": "residential", "country": "br" }
}Duas letras, ISO 3166-1. Informe um e o pool sai desse país; sem ele, a página vê um navegador dos EUA, num endereço escolhido por nós. A exceção é um site cujo endereço termina em `.br`, `.de`, `.es`, `.fr`, `.it`, `.jp`, `.nl`, `.pl` ou `.uk`: o scrape e o map pelo pool gerenciado leem esse site do próprio país, porque ele responde mais a quem chega de lá. Útil quando a página decide o que mostrar pelo lugar de onde você chega: um preço, um idioma, uma loja. O relógio e os idiomas do navegador acompanham o país, então a página vê um lugar só, e não um relógio americano atrás de um endereço brasileiro. No seu próprio proxy, o país define só essa identidade. A saída é a sua.
Escolhendo um estado ou uma cidade
{
"url": "https://example.com",
"proxy": { "country": "br", "state": "paraná", "city": "curitiba" }
}Use `state` ou `city` para escolher um lugar dentro do país. Escreva o nome por extenso, do jeito que uma pessoa escreveria: `são paulo`, `new york`. Siglas como `sp` ou `ny` não encontram ninguém. A cidade não é exata: a maioria das chamadas sai dela, e algumas de outro ponto do mesmo estado. Um lugar pequeno pode não ter ninguém disponível no momento, e aí a chamada responde `PROXY_REFUSED` e não custa nada. Peça o estado, ou só o país, e ela passa. Os dois campos precisam de `country` e só funcionam no pool gerenciado. Nos EUA e no Brasil, o relógio do navegador acompanha o estado. A busca lê os resultados de um país inteiro, então aceita só `country`.
Traga o seu
{
"url": "https://example.com",
"proxy": { "pool": "custom", "server": "http://user:pass@proxy.example:8080" }
}Aponte para o seu próprio proxy e a gente sai por ele no lugar do nosso. Grátis em todos os planos, inclusive no gratuito, e o tráfego nunca é cobrado. Você já paga o seu provedor. A lista de uso aceitável não vale para a sua saída; a proteção contra endereços privados continua valendo, em todo pool, sempre.
O que o pool gerenciado não faz
Endereços privados e de loopback são recusados antes de qualquer conexão, em cada redirecionamento e não só no primeiro. Bancos, governo, login de webmail, ingressos, streaming e lojas de aplicativos são recusados por política. É a mesma lista que todo provedor upstream proíbe. Os dois respondem na hora, e nenhum custa um crédito, a não ser que um script seu de browser.actions tenha levado a página até lá.