Solicitação

Os ajustes de solicitação permitem que você personalize as solicitações HTTP que o SiteSucker envia ao servidor.

Solicitação

A tela Solicitação do diálogo Ajustes fornece os seguintes ajustes:

Identidade

Use esse controle para personalizar a sequência do agente de usuário que o SiteSucker fornece para se identificar ao fazer solicitações HTTP. Alguns sites são muito específicos sobre quais navegadores serão permitidos. Você pode usar esse recurso para “enganar” o site de que o SiteSucker é um navegador aprovado.

Para alterar a identidade do SiteSucker, clique nesse controle e selecione um dos navegadores listados. Se você escolher Visualização da Web, a sequência do agente de usuário padrão da visualização da web estará incluída em todas as solicitações. Essa é a mesma visualização da web usada na opção Transferir usando visualizações da web nos ajustes Página da Web.

Tentativas

Use esse controle para especificar o número de vezes que o SiteSucker deverá tentar transferir um arquivo. O SiteSucker apenas vai repetir a transferência de um arquivo, se ocorrer um erro de tempo limite. No entanto, você também pode usar o ajuste Padrões nos ajustes de Página da Web para tentar transferir novamente um arquivo HTML se um padrão for encontrado ou não no arquivo.

Tempo esgotado

Use este controle para selecionar a duração de tempo que o SiteSucker que deve esperar por uma resposta do servidor.

Atraso

Use esse controle para especificar o período de tempo do atraso que o SiteSucker deve ter entre os pedidos de transferência. Este recurso permite que o SiteSucker use menos banda e evite restrições de gravação anti-mineração empregados por alguns sites.

Se um Crawl-delay (retardo de rastreamento) já está sendo imposto pelo arquivo robots.txt do site, o mais longo dos dois atrasos serão utilizados. Consulte Exclusões de Robô para mais informações sobre o arquivo robots.txt.

Faixa de atraso

Use este controle para especificar um faixa de atraso. Se você selecionar ± 0%, o SiteSucker usará apenas o valor Atraso. Caso contrário, o SiteSucker adicionará um atraso aleatório (dentro do intervalo selecionado) antes de transferir um arquivo. Para um determinado valor Atraso, o limite inferior da faixa de atraso é

Limite inferior = Atraso * (1 - Faixa de atraso / 100)

e o limite superior da faixa de atraso é

Limite superior = Atraso * (1 + Faixa de atraso / 100)

Por exemplo, se o valor Atraso for 4 e a Faixa de atraso for ± 50%, o SiteSucker adicionará um atraso aleatório entre 2 e 6 segundos.

Domínios para atrasar

Use este controle para especificar os domínios de URL afetados pela configuração de Atraso. Esta opção é útil quando você está baixando arquivos de vários sites, mas nem todos os sites precisam ser baixados com um atraso. O SiteSucker oferece as seguintes opções:

  • Host - O SiteSucker aplica o atraso apenas aos arquivos no mesmo host do arquivo original que está sendo baixado. Por exemplo, se a URL original for https://www.example.com/directory/home.html, essa configuração atrasará apenas o download das URLs que começam com http://www.example.com ou https://www.example.com.
  • Subdomínios - O SiteSucker aplica o atraso apenas aos arquivos dentro do domínio de segundo nível e a todos os subdomínios do arquivo original que está sendo baixado. Continuando o exemplo anterior, essa configuração atrasará o download de URLs que começam com http://www.example.com, https://images.example.com, http://help.en.example.com ou https://example.com.
  • Todos os Domínios - O SiteSucker aplica o atraso a todos os arquivos que estão sendo baixados.