Squid não funciona na Versão 3.0.253 do BrazilFW [INACTIVE]

[mormegil]

Senhores boa tarde!

Ontem ao ler a Wik do Brazilfw atualizada, vi que na parte de configuração fala-se que a quantidade de link reservada ao sistema influência na resolução de nomes e por conseqüência do squid, se esta informação procede seria bom tentar aumentar este % e ver se melhora. Como meu trafego não e tão feroz, mesmo por que a maioria das coisas e bloqueada acredito que por isso meu 3.0.253 não esta demonstrando a lentidão do cache.


Bom segue a dica, estou curioso para saber se e este o causador do problema.

[jbutzlaff]

Senhores boa tarde!

Ontem ao ler a Wik do Brazilfw atualizada, vi que na parte de configuração fala-se que a quantidade de link reservada ao sistema influência na resolução de nomes e por conseqüência do squid, se esta informação procede seria bom tentar aumentar este % e ver se melhora. Como meu trafego não e tão feroz, mesmo por que a maioria das coisas e bloqueada acredito que por isso meu 3.0.253 não esta demonstrando a lentidão do cache.


Bom segue a dica, estou curioso para saber se e este o causador do problema.

olá, mas no meu caso, o squid não roda, nem com 1 usuario normal, abrindo somente 01 página. E não adianta trocar de maquina e reinstalar, que já fiz isso em umas 5 maquinas diferentes.

[william]

Senhores boa tarde!

Ontem ao ler a Wik do Brazilfw atualizada, vi que na parte de configuração fala-se que a quantidade de link reservada ao sistema influência na resolução de nomes e por conseqüência do squid, se esta informação procede seria bom tentar aumentar este % e ver se melhora. Como meu trafego não e tão feroz, mesmo por que a maioria das coisas e bloqueada acredito que por isso meu 3.0.253 não esta demonstrando a lentidão do cache.


Bom segue a dica, estou curioso para saber se e este o causador do problema.

olá, mas no meu caso, o squid não roda, nem com 1 usuario normal, abrindo somente 01 página. E não adianta trocar de maquina e reinstalar, que já fiz isso em umas 5 maquinas diferentes.

tenho este mesmo problema ,o squid so funcionou uma vez depois disso nunca mas ja ate desisti dele vou usa cache paralelo

[jbutzlaff]

Mesmo atualizando para a versão 3.0.255, o squid continua apresetando os mesmos problemas.

[edusilvarj]

O meu problema com squid esta OSSO aqui quando reinicia a maquina ele apaga o cache !! alquem ja pego essesproblema

[goodposting]

vc´s já atualizaram pra versão 255 final ? 32 ou 64 ?

pra quem não sabe, mudou a versão do squid na 255. então, usem o Limpar Cache no webadmin e apaguem tudo do cache, començando tudo novamente. isso é de praxe. não tentem aproveitar o cache antigo no squid novo.

quanto a apagar o cache, não podem usar gerenciador de downloads pra baixar algo do cache. se não o objeto no cache se apaga.

o próximo q baixar o objeto novamente sem gerenciador colocará novamente o objeto no cache. então o objeto sumirá e voltará de acordo com quem estiver usando.

a solução pra isso seria fabricar algum tipo de addon com os recursos do Apache ou o próprio dito cujo pra fazer assim o "corte" em cima das conexões do gerenciador de downloads e permitir assim somente uma conexão ao objeto do cache. isso é dado com exemplo aqui pois segundo wosh, é o apache quem faz o corte (limita) a gente em certos sites por aí a fora. o squid não faz isso.

outra coisa: voltem com a linha hierarchy_stoplist cgi-bin ? ..quem tirou ,coloque de volta.

a remoção dessa linha ta destruindo o squid e ta fazendo o ZPH parar de funcionar.

a pergunta nesse caso é: vale a pena sacrificar o zph e muita coisa do squid pra ter cache do orkut e youtube???

[alvesrj]

vc´s já atualizaram pra versão 255 final ? 32 ou 64 ?

pra quem não sabe, mudou a versão do squid na 255. então, usem o Limpar Cache no webadmin e apaguem tudo do cache, començando tudo novamente. isso é de praxe. não tentem aproveitar o cache antigo no squid novo.

quanto a apagar o cache, não podem usar gerenciador de downloads pra baixar algo do cache. se não o objeto no cache se apaga.

o próximo q baixar o objeto novamente sem gerenciador colocará novamente o objeto no cache. então o objeto sumirá e voltará de acordo com quem estiver usando.

a solução pra isso seria fabricar algum tipo de addon com os recursos do Apache ou o próprio dito cujo pra fazer assim o "corte" em cima das conexões do gerenciador de downloads e permitir assim somente uma conexão ao objeto do cache. isso é dado com exemplo aqui pois segundo wosh, é o apache quem faz o corte (limita) a gente em certos sites por aí a fora. o squid não faz isso.

outra coisa: voltem com a linha hierarchy_stoplist cgi-bin ? ..quem tirou ,coloque de volta.

a remoção dessa linha ta destruindo o squid e ta fazendo o ZPH parar de funcionar.

a pergunta nesse caso é: vale a pena sacrificar o zph e muita coisa do squid pra ter cache do orkut e youtube???

Para que que saber o que goodposting citou sobre a linha hierarchy_stoplist cgi-bin ?

http://www.brazilfw.com.br/forum/viewtopic.php?f=77&t=81486#p277459

[studionet]

Estou com o mesmo problema com o squid, quando reinicio o servidor o cache apaga todos arquivos, versão 3.0.55

[jbutzlaff]

aqui pra mim, desde a versão 3.0.253 que ele não funciona mais, ainda estou parado na versão 3.0.252

[apoliano]

Olá galera boa noite!

Eu estou pesquisando muito sobre a versão 255 do BFW, por que queria atulaizar para ela já que uso a 253, mais com alguns problemas que tá surgindo com ela então vou ficar na 253 até resolverem esse problema do squid.

[cunha.jcesar]

Pessoal, agora fiquei bem confuso

Sobre a diretiva

hierarchy_stoplist cgi-bin ?

O manual do squid diz:

A list of words which, if found in a URL, cause the object to
be handled directly by this cache. In other words, use this
to not query neighbor caches for certain objects. You may
list this option multiple times.

Example:
hierarchy_stoplist cgi-bin ?

Note: never_direct overrides this option.

A menos que meu inglês seja falho, entendo que ele diz que se na url for encontrado cgi-bin ou ? (caracterizando página dinâmica) o objeto deve ser tratado diretamente. Ou seja não é feito cache.

Acompanhando diversos threads encontrei algo como:

No http://www.brazilfw.com.br/forum/viewtopic.php?f=77&t=81486#p277459

Deixando a linha: O squid faz cache de tudo o que tem cgi-bin ou ? na URL, ou seja, quase tudo que é dinâmico. Mas fica limitado aos tamanhos de arquivos que o squid estiver configurado e os arquivos cacheados não ficam disponíveis ao administrador, pois usam o hash do squid para armazenamento. E o BFW Cache não faz cache.
Retirando a linha: O BFW Cache faz o cache, que não tem limite de tamanho nos arquivos e também organiza os arquivos de forma visível ao administrador. Além de poder escolher o que se quer fazer cache pelos plugins. O squid funcionará normalmente, porém não fará obrigatoriamente cache de conteúdo dinâmico, ficando prejudicado o cache dinâmico daquilo que o BFW Cache não contempla.

Interpretei errado ou o post está afirmando que a diretiva força o cache de conteúdos dinâmico?

Até onde sei sobre o squid, a diretiva serve exatamente para não cachear conteúdo dinâmico pelo menos no squid.
É claro que pelo lado do browser, e nesse caso o cache é local dele, a meta pragma no cache é que vai determinar se o browser vai fazer nova requisição, ou aproveitar o conteúdo do cache local.

Sempre entendi que funcionava do modo que citei, mas agora Conseguiram "tocar barata voa" na minha cabeça

Alguma alma caridosa, pode ajudar a dar um "unsclamber" na minha cabeça confusa

[goodposting]

é simples.

se deixar a linha o squid fará sim o cache dinâmico, mas se vai entregar já é outra coisa. essa linha é padrão e deve ser deixada no arquivo do squid. só que o pessoal descobriu essa linha e resolveu remover ou comentar.


se remover a linha, o bfwcache passa então a fazer o cache do orkut, youtube, etc... mas sem zph, como já foi dito.


o problema em remover essa linha são os "efeitos colaterais" depois.

[cunha.jcesar]

Fazer cache de conteúdo dinâmico não seria um contra-senso ?

[brunovescovi]

Boa tarde, pessoal.

Fazer cache de conteúdo dinâmico não seria um contra-senso ?

Em tese sim, pois no entendimento primário da expressão "conteúdo dinâmico" entende-se que o conteúdo seria diferente a cada chamada de url. Porém, como estratégia de programação, há muitos anos, usa-se o modo dinâmico (com o uso do caracter ?, por exemplo, passado pela url) para fazer referência a um conteúdo fixo. Então, quando se fala em fazer cache de conteúdo dinâmico, não se pode incluir sites onde o conteúdo de fato é dinâmico, ficando o cache apenas proveitoso nos casos onde o conteúdo é chamado por uma URL com cara de dinâmico, porém fixo.

Vou dar um exemplo aqui mesmo do fórum:
http://www.brazilfw.com.br/forum/viewtopic.php?f=2&t=54486
O link acima é chamado dinamicamente. Vejam que o php no servidor deve processar todo o conteúdo após o caractere ? como dados a serem processados, e depois de processar tudo, retorna uma página para nós.
O link acima é a nossa velha e boa página de Regras do fórum. E podemos notar que ela mostra a mesma página há muito tempo (acho que desde sempre ), apesar de que é chamada e processada como conteúdo dinâmico.
Já o link abaixo no nosso fórum vai apresentar conteúdo variado de tempos em tempos, pois se trata da página de novas postagens. Veja:
http://www.brazilfw.com.br/forum/search.php?search_id=newposts

Mas não estamos falando em fazer cache de mensagens de texto no fórum, por isso vamos falar do youtube, por exemplo. O link abaixo é um vídeo sobre a instalação de um addon pelo Gerenciador de Addons que achei no youtube:
http://www.youtube.com/watch?v=jqgB1JzOEhA
Ele é apresentado de forma dinâmica, mas sempre que você chamar esse link, vai aparecer o mesmo vídeo. Ou seja, alguns sites usam a chamada dinâmica mais para facilitar a programação e organização do que propriamente dinamizar o conteúdo apresentado.
É por isso que vale a pena fazer cache desses sites.

A menos que meu inglês seja falho, entendo que ele diz que se na url for encontrado cgi-bin ou ? (caracterizando página dinâmica) o objeto deve ser tratado diretamente. Ou seja não é feito cache.

O manual do squid diz:

A list of words which, if found in a URL, cause the object to
be handled directly by this cache. In other words, use this
to not query neighbor caches for certain objects. You may
list this option multiple times.

Vou traduzir a informação do manual:

Uma lista de palavras que, se encontradas na URL, fazem o objeto ser tratado diretamente pelo squid. Em outras palavras, use este recurso para não usar caches vizinhos para certos objetos. Você pode listar essa opção várias vezes.

Ou seja, toda URL que passa pelo squid e que possui as palavras configuradas no hierarchy_stoplist, serão cacheadas pelo próprio squid, e não serão repassadas para outros sistemas de cache trabalhando em paralelo ao squid. No nosso caso, todas as URLs que contiverem "cgi-bin" ou "?" serão cacheadas pelo squid.
Sendo assim, o bfwcache fica impossibilitado de cachear todos os sites nele configurados, pelo simples fato de que o squid não repassa todas as solicitações ao bfwcache. Dessa forma, o bfwcache vai funcionar normalmente, mas só vai fazer cache com os objetos que o squid repassar para ele.

se deixar a linha o squid fará sim o cache dinâmico, mas se vai entregar já é outra coisa.

É verdade. Guardar um objeto é uma coisa, e identificar que o mesmo objeto está sendo requisitado e entregá-lo do cache é outro processo. Por isso, o squid faz cache de muito mais coisas do que nós conseguimos aproveitar. Isso é um caso antigo do squid, e não do BFW. E também isso se agrava pelo que falamos mais acima, que é o fato de haver conteúdo puramente dinâmico, isto é, conteúdo que verdadeiramente muda a cada chamada e que não faz sentido cachear, como bem falou o cunha.jcesar.

só que o pessoal descobriu essa linha e resolveu remover ou comentar

Esse recurso foi sugerido e suas ventagens e desvantagens explicadas. Mas não deve ser tratado como algo puramente ruim. É importante deixar cada um fazer se quiser, pois as vantagens e desvantagens já foram explicadas algumas vezes, e muitos usuários que no início defendiam esse recurso, hoje têm outra opinião sobre ele. E também alguns usuários que no início não gostaram do recurso, mas que hoje o têm aplicado em seus servidores e para eles está tudo a mil maravilhas. É importante deixar cada um fazer como quiser. Nenhum caso é igual ao outro, por isso há espaço para um e para outro, mas nenhum dos dois está necessariamente certo ou errado. Vai depender da aplicação somente.


Há muto mais a ser dito sobre o assunto, mas eu prefiro comentar algumas coisas só depois que tenho alguma solução ou pelo menos uma pista de como resolver, e aí todos podemos trabalhar em favor da solução final. Por enquanto, os problemas são esses que já falamos. Precisamos de idéias para resolvê-los.

Se me equivoquei em algo, por favor, me corrijam.

Um abraço.

[cunha.jcesar]

brunovescovi

Ou seja, toda URL que passa pelo squid e que possui as palavras configuradas no hierarchy_stoplist, serão cacheadas pelo próprio squid, e não serão repassadas para outros sistemas de cache trabalhando em paralelo ao squid. No nosso caso, todas as URLs que contiverem "cgi-bin" ou "?" serão cacheadas pelo squid.
Sendo assim, o bfwcache fica impossibilitado de cachear todos os sites nele configurados, pelo simples fato de que o squid não repassa todas as solicitações ao bfwcache. Dessa forma, o bfwcache vai funcionar normalmente, mas só vai fazer cache com os objetos que o squid repassar para ele.

Muito grato minha tradução era exatamente a que você postou, só não estava fazendo sentido o remoção da diretiva

Sua colocação esclareceu totalmente o contexto

Finalmente consegui entender o que estava em jogo no tópico

[Klonoa331]

Pessoal aproveitando o Tópico sobre um problema no Squid.

Nao consigo navegar quando ativo meu Squid, sempre que acesso alguma pagina a seguinte mensagem é mostrada:

Connection to terra.com.br failed.

The system returned: (27) File too large

The remote host or network may be down. Please try the request again.

Your cache administrator is webmaster.

As confs do meu Squid são as seguintes.

Código: Selecionar todos

MAXIMUM_OBJECT_SIZE='51200'
MAXIMUM_OBJECT_SIZE_MEMORY='512'
MAXIMUM_CACHE_SIZE=''
MAXIMUM_RAM_CACHE_SIZE='100'
WEB_CONTENT_FILTER='yes'
SQUID_REPORT='sarg'
SARG_LONG_URL='yes'
SARG_GRAPHS='no'
REPORT_DELETE_AFTER_DAYS='20'
RUN_REPORT_PERIODIC='yes'
CACHE_LOG='yes'
TPROXY='yes'
HIDE_PROXY='no'
SQUID_PARTITION='/partition'
SQUID_LOG_PARTITION='/partition'
REPORT_FOLDER='/partition'
SQUID_AUTO_CRON='yes'

[janesley]

" mormegil escreveu:
Ontem ao ler a Wik do Brazilfw atualizada, vi que na parte de configuração fala-se que a quantidade de link reservada ao sistema influência na resolução de nomes e por conseqüência do squid, se esta informação procede seria bom tentar aumentar este % e ver se melhora. Como meu trafego não e tão feroz, mesmo por que a maioria das coisas e bloqueada acredito que por isso meu 3.0.253 não esta demonstrando a lentidão do cache.

Só a titulo de procurar soluções para os problemas informados, eu também tive alguns dos problemas descritos neste post e resolvi, aumentando a reserva de banda para 4% do link e não tive mas problema com aquela pagina de erro do squid. (travamentos e lentidão). somente o problema da .255 ao reiniciar...
no arquivo mestre brazilfw.cfg

Código: Selecionar todos

BANDWIDTH_RESERVATION='4'

Espero ter ajudado!

[Klonoa331]

Ninguem consegue me dar uma ajudinha com meu post??

[nclaria]

Pessoal aproveitando o Tópico sobre um problema no Squid.

Nao consigo navegar quando ativo meu Squid, sempre que acesso alguma pagina a seguinte mensagem é mostrada:

Connection to terra.com.br failed.

The system returned: (27) File too large

The remote host or network may be down. Please try the request again.

Your cache administrator is webmaster.

As confs do meu Squid são as seguintes.

Código: Selecionar todos

MAXIMUM_OBJECT_SIZE='51200'
MAXIMUM_OBJECT_SIZE_MEMORY='512'
MAXIMUM_CACHE_SIZE=''
MAXIMUM_RAM_CACHE_SIZE='100'
WEB_CONTENT_FILTER='yes'
SQUID_REPORT='sarg'
SARG_LONG_URL='yes'
SARG_GRAPHS='no'
REPORT_DELETE_AFTER_DAYS='20'
RUN_REPORT_PERIODIC='yes'
CACHE_LOG='yes'
TPROXY='yes'
HIDE_PROXY='no'
SQUID_PARTITION='/partition'
SQUID_LOG_PARTITION='/partition'
REPORT_FOLDER='/partition'
SQUID_AUTO_CRON='yes'

Reemplace la linea

Código: Selecionar todos

CACHE_LOG='yes'

por

Código: Selecionar todos

CACHE_LOG='no'

Salve, recargue squid y deberia funcionar.
Sino borre manualmente el alchivo log

[Klonoa331]

Gracias nclaria ha funcionado correctamente.

[nclaria]

Gracias nclaria ha funcionado correctamente.

[mormegil]

Amigos,
irei dar uma sugestão, voltem para BFW 3.0.252, pois ta tudo OK.

To usando em produção total e com os addon´s

BfwCache 1.0
MySAR
IMSpector
SqStat
Redirector
Check System
Squid-Control
CalcIP BfW
Squid

Tudo 100% funcionando à 3 meses, desde que criei o servidor com processador AMD athon x2 8 Gb de Memoria.

Recomendo para galera que não tem facilidade em configuração.


abração

Senhores estou usando a 3.0.255 e esta otima.

[jbutzlaff]

Gente, eu abri esse tópico, eu ainda continuo usando a versão 3.0.252 em 3 servidores, porque em nenhuma das atualizações que sairam, o squid funciona corretamente, na versão atual, 3.0.256, estou com 1 servidor em teste, e de cada 5 páginas que abro em média 01 da erro, ai tem que ficar dando refresh algumas vezes, ele dá a mensagem abaixo, eu sei parece ser erro de DNS, mas já usei vários servidores de DNS, mas as mesmas configurações rodam perfeitamente no brasilfw 3.0.252.

Antes que perguntem, já fiz o uso do squid-control conforme instruções abaixo e não deu certo.
http://www.brazilfw.com.br/forum/viewtopic.php?f=77&t=82325

ERROR
The requested URL could not be retrieved

--------------------------------------------------------------------------------

The following error was encountered while trying to retrieve the URL: http://www.adrive.com/

Connection to www.adrive.com failed.

The system returned: (2) No such file or directory

The remote host or network may be down. Please try the request again.

Your cache administrator is webmaster.




--------------------------------------------------------------------------------

Generated Thu, 23 Feb 2012 01:04:18 GMT by bfwgetec (squid/3.1.18)

[david_denis46]

senhores com migo o squidda versao do bfw-3.0.253 esta fucionado muito bem fazendo o zph tranquilo, mas posta ai as comfiguracoes do seu servdor tanto hadware quanto as do bfw pra gente ter uma ideia

[mormegil]

senhores com migo o squidda versao do bfw-3.0.253 esta fucionado muito bem fazendo o zph tranquilo, mas posta ai as comfiguracoes do seu servdor tanto hadware quanto as do bfw pra gente ter uma ideia

Estou usando o 3.0.256 e esta muito bom!

[david_denis46]

Estou usando o 3.0.256 e esta muito bom![/quote]
ja usei as duas vessoes 3.0.255 e a 3.0.256 mas o squid nessas versoes tem um problema de quando é reiniciado o servidor ele zera e asveses ainda da um erro mais grave e nao inicia o squid. por isso minha versao é 3.1.253 mas fora isso o retante esta ok no bfw

[janesley]

Amigo como vc instalou o MySar e o Check System no BFW 3.0.252 - já que é informado que só funciona para versão apartir dá 3.0.253 ?

Por: NANDOFFF
To usando em produção total e com os addon´s
BfwCache 1.0
MySAR
IMSpector
SqStat
Redirector
Check System
Squid-Control
CalcIP BfW
Squid

Tudo 100% funcionando à 3 meses, desde que criei o servidor com processador AMD athon x2 8 Gb de Memoria.