Addon BFW Cache 1.0 - Tópico de Acompanhamento - Parte 3

[alej4p4]

Boa noite pessoal
Atualizei meu brazilfw para versão 255 fiz tudo no forom que e relacionado ao cache.
Mas so ta cacheando os sites do Orkut e do youtube,
Tem mais algo que tenho que fazer pra funcionar todos os plugins
Já fiz isso também ao comentario do amigo http://www.brazilfw.com.br/forum/viewtopic.php?f=77&t=80866
E ainda não cacheou todos os plugins disponiveis

muito obrigado pela atençao.

[geraldobjr]

Boa noite, pessoal.

Caro,tenta modificar o squid,comigo funcionou aki.
http://www.brazilfw.com.br/forum/viewtopic.php?f=77&t=80866

Só uma duvida depois que vc fez esse procedimento vc reiniciou o servidor?
Comigo funcionou na 255 sem problemas.
Pra aparecer a # tive que reiniciar.,

Após fazer as alterações sugeridas no link acima, salve o arquivo e execute um reload no squid:

Código: Selecionar todos

/etc/init.d/squid reload

Dessa forma as alterações são aplicadas sem a necessidade de reiniciar o servidor.

Um abraço.

Amigo, mesmo reiniciando não funciona...
Eu uso o addon Squid-Control para reiniciar somente o squid e tbm tentei reiniciando o servidor e nada.
Vc analizando os prints da minha configuração acha que o squid esta configurado corretamente ? Eu usei referencia do Wiki do 3x, o problema pode ser esse?
Existe mais alguma coisa que possa ser feita?

Obrigado mais uma vez pela paciencia.

[goodposting]

só uma observação quanto a recarregar...
sugiro usar o webadmin do bfw 3.x e recarregar o squid pelas opções existentes nele.

o squid-control tive problemas com ele.

[saivercon]

Bom dia a todos

Bruno tenho tido dificuldades de conseguir os fontes dos plugins, já comecei a trabalhar em plugins e modificações próprias.

Queria ver com vc a possibilidade de trabalharmos de uma forma que nossos plugins aqui não funcionem no TC. Não é por nada mais me deparo com cada figura
que nem compensa relatar aqui e as vezes fico pensando o que estamos fazendo ajudando esse monte de sanguessuga... (desabafo)

Everson Oliveira

[manauara]

Fale bro,

criei uma maquina virtual e to testando o BFW 3 com o BFW Cache. Estou testando os plugins dele e até agora está tudo bem exceto o plugin do redtube que não está funcionando.

[brunovescovi]

Boa tarde, pessoal.

já comecei a trabalhar em plugins e modificações próprias.

Sem palavras.

Queria ver com vc a possibilidade de trabalharmos de uma forma que nossos plugins aqui não funcionem no TC.

Já pensei nisso, mas por enquanto podemos fazer como está. Em outra hora podemos fazer essa implementação, até porque não basta alterar o código dos plugins, mas no sistema também. Só que...

Não é por nada mais me deparo com cada figura
que nem compensa relatar aqui e as vezes fico pensando o que estamos fazendo ajudando esse monte de sanguessuga... (desabafo)

... não devemos isolar os plugins só por esse motivo. A razão principal para deixar os plugins incompatíveis entre si é a segurança dos usuários do BFW Cache. Não é difícil colocar código malicioso dentro de um plugin do TC 3.1. Sendo assim, uma vez que os plugins de BFW Cache e TC 3.1 ficarem diferentes, os usuários do BFW Cache estarão seguros pois os plugins aqui no projeto são averiguados, testados e com os fontes disponíveis. Essa é a vantagem principal.

Se formos deixar de fazer alguma coisa por causa dos "sanguessugas", nós não iremos fazer mais nada na vida. A começar pela nossa casa (é, aqui mesmo no fórum), onde temos muita gente que ajuda como pode, mas a grande maioria se alimenta do trabalho alheio sem contribuir em absolutamente nada.
Eu prefiro gastar minhas forças me ajuntando com quem quer fazer e deixar quem quiser usar que use. A Bíblia diz: "o Sol nasce para os justos e os injustos". Quem sou eu para escolher onde nosso trabalho vai "iluminar". Isso também foi um desabafo misturado com opinião pessoal, mas de forma alguma isso mexe com a minha vontade de servir.

Um abraço.

[saivercon]

Vc está certo Bruno

Mas algumas vezes me stresso de mais com as barbaridades que leio.

Bom estou disposto a ajudar o projeto mesmo com minhas limitações hora de conhecimento e hora de tempo.

Abraços

Everson Oliveira

[geraldobjr]

Eu sempre prefiro fazer pelo Webadmin, so que "imaginei" que não estava tendo efeito, porque não esta dando certo, intão rentei o comando reload e tbm pelo squid-control, tbm não funcionou...
Eu imagino que o cache esteja funcionando pq desde que colocou o BFWCache a internet melhorou, mais não consigo visualizar nada nos relatorios do cache.

[goodposting]

Queria ver com vc a possibilidade de trabalharmos de uma forma que nossos plugins aqui não funcionem no TC.

Não é por nada mais me deparo com cada figura que nem compensa relatar aqui e as vezes fico pensando o que estamos fazendo ajudando esse monte de sanguessuga... (desabafo)

acho ótima a idéia !



infelizmente eles tem os fontes e não passam pra ninguém. nem sei como o TooR conseguil o fonte do plugin facebook. talvez ele mesmo o tenha feito.
pra terem uma idéia, já existem plugins diversos já revisados do avast, facebook, orkut, etc... só q não passam os fontes nem a pau.

[saivercon]

Boa tarde amigos

Vendo que o tópico do BFW CACHE está ficando muito extenso e muitas das mensagens são sobre os plugins do addon resolvi criar
um topico para discução do assunto. Uma coisa mais especifica para podermos organizar melhor os esforços.

Segue o link do topico abaixo, em breve começarei a postar as fontes dos plugins que estou criando e modificando...
http://www.brazilfw.com.br/forum/viewtopic.php?f=77&t=81953

Até mas
Everson Oliveira

[goodposting]

Goodposting, abra um tópico relatando seus problemas com o squid-control que eu passo as mensagens daqui deste tópico para lá, deixando o assunto deste tópico mais direcionado.

http://www.brazilfw.com.br/forum/viewtopic.php?f=77&t=81969


feito.

[apoliano]

Olá galera boa tarde!

Eu estou usando o BFW cache à 3 semanas e o único site que tá salvando legal no cache é o orkut, eu usava a versão 3.0.254 do BFW, me aconcelharam usar a 253 que tava tudo funcionando, instalei
a 253 e os únicos sites que tá salvando agora além do orkut que é o que mais tem no cache é uol, megaupload, pop6, e 4shared.

Aqui já foram acessados vários sites como youtube, globo.com, facebook, twitter etc, mais nenhum desses tá no cache, só o cache em disco squid tem 84683 objetos em disco.
Assim que instalei o BFW cache o orkut já começou a ser salvo no cache rapidinho mais os outros sites só foram aparecer no relátorio só no outro dia.

O que tem de errado, tenho que fazer alguma alteração no squid, adicionar mais alguma regra personalizada, já tem uma vova versão do BFW cache? Como faço para atualizar?
Vejam abaixo a imagem do relátorio do cache:


A versão do BFW que estou usando é a 3.0.253

[geraldobjr]

Tenho o mesmo problema, ja tentei de tudo, so aqui so funciona megaupload e symantec...

[saivercon]

Eu estou usando o BFW cache à 3 semanas e o único site que tá salvando legal no cache é o orkut, eu usava a versão 3.0.254 do BFW, me aconcelharam usar a 253 que tava tudo funcionando, instalei
a 253 e os únicos sites que tá salvando agora além do orkut que é o que mais tem no cache é uol, megaupload, pop6, e 4shared.

Tenho o mesmo problema, ja tentei de tudo, so aqui so funciona megaupload e symantec...

Meus caros se vocês lerem o tópico de discussão por completo irão perceber que não vai funcionar só instalando o addon, a partir da versão .253 tem que comentar a ACL no squid que impede fazer o cache dinâmico de alguns conteúdos, no tópico ensina como fazer isso passo a passo.


Everson Oliveira

[castorcdf]

Caro saivercon

poderia dizer qual ACL do squid é modificada?
Me tira outra duvida vc está usando o squid comentado? aquele na segunda parte do topico 007-squid.

[geraldobjr]

Eu estou usando o BFW cache à 3 semanas e o único site que tá salvando legal no cache é o orkut, eu usava a versão 3.0.254 do BFW, me aconcelharam usar a 253 que tava tudo funcionando, instalei
a 253 e os únicos sites que tá salvando agora além do orkut que é o que mais tem no cache é uol, megaupload, pop6, e 4shared.

Tenho o mesmo problema, ja tentei de tudo, so aqui so funciona megaupload e symantec...

Meus caros se vocês lerem o tópico de discussão por completo irão perceber que não vai funcionar só instalando o addon, a partir da versão .253 tem que comentar a ACL no squid que impede fazer o cache dinâmico de alguns conteúdos, no tópico ensina como fazer isso passo a passo.


Everson Oliveira

Amigo, li e as 3 partes do topico de discução e não consegui fazer funcionar.
Comentei a ACL, fiz a parte 007 e não funciona, se voçê dar uma olhada nos topicos atras ja disse isso e postei SS de todas as configs do meu BFW...
Não sei mais o que fazer...

[saivercon]

Caro saivercon

poderia dizer qual ACL do squid é modificada?
Me tira outra duvida vc está usando o squid comentado? aquele na segunda parte do topico 007-squid.

Isso amigo...

Faz como está aqui nessa parte do forum que vai da certo. Não precisa fazer nada alem disso, quando vc reiniciar automaticamente a ACL referida vai esta comentado e o cache funcionando!

http://www.brazilfw.com.br/forum/viewtopic.php?f=77&t=80866#p272653

[geraldobjr]

Caro saivercon

poderia dizer qual ACL do squid é modificada?
Me tira outra duvida vc está usando o squid comentado? aquele na segunda parte do topico 007-squid.

Isso amigo...

Faz como está aqui nessa parte do forum que vai da certo. Não precisa fazer nada alem disso, quando vc reiniciar automaticamente a ACL referida vai esta comentado e o cache funcionando!

http://www.brazilfw.com.br/forum/viewtopic.php?f=77&t=80866#p272653

E o que deve ser feito quando faz o processo e a ACL não é comentada ? Que é o meu caso

[saivercon]

Amigo, li e as 3 partes do topico de discução e não consegui fazer funcionar.
Comentei a ACL, fiz a parte 007 e não funciona, se voçê dar uma olhada nos topicos atras ja disse isso e postei SS de todas as configs do meu BFW...
Não sei mais o que fazer...

Ok amigo, vou tentar te ajudar... Instala tudo novamente do zero, pode ser até a .255, habilita o squid e mysql e faz todos os passos dessa parte do tópico novamente.

http://www.brazilfw.com.br/forum/viewtopic.php?f=77&t=80866#p272653

Reinicia sua maquina. Para confirmar entra em /usr/local/squid/etc e abir o arquivo squid.cfg se ele estiver com # na frente de hierarchy_stoplist cgi-bin ? , está ok.

Se preferir baixa os aquivos prontos aqui no link abaixo, coloca dentro de /etc/brazilfw/custom salvar as configurações (de preferencia pelo webadmin) e reinicia a maquina e testa.

http://www.saivercon.com/bfw/coment_acl_squid.rar

Se não der certo me adiciona no MSN que acesso sua maquina e vejo o que tem de errado...

Até mas
Everson Oliveira

[saivercon]

E o que deve ser feito quando faz o processo e a ACL não é comentada ? Que é o meu caso

Baixa os arquivos que estou disponibilizando no comentário acima e tenta com eles, lembra de reiniciar a maquina para depois conferir se comentou a acl.

Postem os resultados meus caros.

Everson Oliveira

[geraldobjr]

E o que deve ser feito quando faz o processo e a ACL não é comentada ? Que é o meu caso

Baixa os arquivos que estou disponibilizando no comentário acima e tenta com eles, lembra de reiniciar a maquina para depois conferir se comentou a acl.

Postem os resultados meus caros.

Everson Oliveira

Obrigado pela atenção
Vou fazer o teste hoje anoite, pois o servidor esta funcionando agora.
Qualquer coisa volto a postar
Obrigado

[saivercon]

Obrigado pela atenção
Vou fazer o teste hoje anoite, pois o servidor esta funcionando agora.
Qualquer coisa volto a postar
Obrigado

O processo é bem rapido, usa o ssh secure shell ou winscp para transferir os arquivos que disponibilizei para o diretorio e reinicia a maquina, já vai voltar funcionando!

Everson Oliveira

[goodposting]

Olá galera boa tarde!

Eu estou usando o BFW cache à 3 semanas e o único site que tá salvando legal no cache é o orkut, eu usava a versão 3.0.254 do BFW, me aconcelharam usar a 253 que
O que tem de errado, tenho que fazer alguma alteração no squid, adicionar mais alguma regra personalizada, já tem uma vova versão do BFW cache? Como faço para atualizar?

acho q o tópico Parte 2 tem algo sobre isso aí.

só comentar com # uma acl do 007-squid se não me engano. mas é algo paleativo e por conta e risco.

e a 255 ta melhor do q a 253 ,ok?

[manauara]

Amigo, li e as 3 partes do topico de discução e não consegui fazer funcionar.
Comentei a ACL, fiz a parte 007 e não funciona, se voçê dar uma olhada nos topicos atras ja disse isso e postei SS de todas as configs do meu BFW...
Não sei mais o que fazer...

Ok amigo, vou tentar te ajudar... Instala tudo novamente do zero, pode ser até a .255, habilita o squid e mysql e faz todos os passos dessa parte do tópico novamente.

http://www.brazilfw.com.br/forum/viewtopic.php?f=77&t=80866#p272653

Reinicia sua maquina. Para confirmar entra em /usr/local/squid/etc e abir o arquivo squid.cfg se ele estiver com # na frente de hierarchy_stoplist cgi-bin ? , está ok.

Se preferir baixa os aquivos prontos aqui no link abaixo, coloca dentro de /etc/brazilfw/custom e reinicia a maquina e testa.

http://www.saivercon.com/bfw/coment_acl_squid.rar

Se não der certo me adiciona no MSN que acesso sua maquina e vejo o que tem de errado...

Até mas
Everson Oliveira

Brother,

então quer dizer q não funciona substituir o novo código pelo antigo no 007-squid, tem que criar o script de substituição para que seja carregado na inicialização?

[apoliano]

Olá boa noite!

Eu fiz o que o Saivercon falou, usei o winscp para transferir os arquivos e reiniciei o servidor, ai fui confirma se a acl ta comentada, e não tava, ai fiz tudo de novo com o winscp, ai fui no webadmin e salvei as configurações e reiniciei o servidor, e fui confirmar de novo se a acl tava comentada e tava, agora ta salvando o youtube no cache.

Fiz o teste com o youtube carregando um video de 3 min, depois que carregou o video por completo fechei a página, e abri de novo o youtube e carreguei o mesmo video, e fiquei monitorando o trafego de internet e a qualidade do link dava sempre ótimo diferente de quando tava carregando o video pela 1º vez, só que quando carreguei o video pela 2º vez ele carrega dando umas pausas como se tivesse usando o link, não era para carregar mais rápido sem muitas pausas no video?

Eu coloquei 4096 Kbits por segundo (4Mb) no ZPH, e parece que isso não ta funcionando.
Alguem ai tem uma solução para esse problema também?

Outra dúvida, posso atualizar a versão 3.0.253 para 3.0.255 sem ter nenhum problema depois de feito essas aletrações no squid, ou tenho que desfazer essas alterações que fiz agora para depois atualizar o servidor

Obrigado a todos pela atenção...

[brunovescovi]

Boa noite, pessoal.

Para a próxima versão, essa questão toda com o squid já está corrigida.

Não sei exatamente como cada um está fazendo, mas dando uma olhada nas soluções propostas aqui no fórum, vi que elas funcionam, mas envolvem código demais (na minha opinião), e talvez por isso está ficando um pouco confuso para alguns.

Se quiserem resolver com menos esforço (mas não invalidando as outras soluções propostas), façam como eu vou propor abaixo.
Vou escrever com letra grande para chamar a atenção e faciltar a pesquisa futura (desculpem-me as letras grandes, mas sem colocar assim alguns vão postar logo depois perguntando a mesma coisa ).

Para fazer cache do youtube, use este RTS PEC (Recurso Técnico Simplificado Provisório Eficiente Compatível)
Execute o código abaixo pelo terminal ou putty:

File: 

echo "[ -f /etc/init.d/007-squid ] && eval \"sed -i '/hierarchy_stoplist/d' /etc/init.d/007-squid\" >/dev/null 2>&1" >> /etc/brazilfw/custom/rc.local
echo "[ -f /var/run/squid.pid ] && /etc/init.d/squid reload >/dev/null 2>&1"  >> /etc/brazilfw/custom/rc.local
backup >/dev/null 2>&1
[ -f /etc/init.d/007-squid ] && eval "sed -i '/hierarchy_stoplist/d' /etc/init.d/007-squid" >/dev/null 2>&1
[ -f /var/run/squid.pid ] && /etc/init.d/squid reload >/dev/null 2>&1

Usei a tag FILE porque a tag CODE fez quebra de linha, o que poderia trazer alguma dificuldade no entendimento das linhas acima.

Esse código acima faz a aplicação imediata no squid para a liberação do cache de youtube pelo BFW Cache, e também prepara o servidor para as próximas reinicializações. Ou seja, até a próxima versão do BFW Cache, não há do que se preocupar sobre esse assunto (assim espero ).

A questão do ZPH também está sendo estudada e estou quase lá. Estou tentando fazer com que o próprio squid resolva isso (lei do menor esforço, isto é, menor código )

Espero que possam avaliar a solução proposta acima e se alguém tiver dificuldades é so perguntar (mas por favor, gente, tenta bastante antes de postar dúvidas). Estamos aqui para ajudar uns aos outros.

Mais uma vez, agradeço a todos pelo apoio e por toda ajuda que este tópico tem recebido.

Um abraço.

[geraldobjr]

Aqui para mim Resolveu !

[manauara]

Grande mesmo só o nome . Ele elimina aquela linha, é isso mesmo?

[goodposting]

isso mesmo.

com ela, o cache de conteúdo dinâmico não é feito pelo bfwcache.

[EDCOSMOS]

bfwcache tá ótimo mas senti que os vídeos da globo.com não estão cacheando todos os vídeos (pelo menos os videos que eu vi não) não são .mp4 os vídeos da globo.com?
retratação: acredito que esteja cacheando porque no relátorio mostra que tá cacheando mas não entrega o video pronto para assistir como faz no youtube

[goodposting]

isso pode acontecer, já q os plugins deverão ser revisados e muitos apresentam mau funcionamento devido a mudanças feitas nos sites dinâmicos.

o ideal seria realizar uma mudança pra facilitar a criação dos plugins. criamos um plugin hoje, se amanhã o site mudar já era o plugin. terá q ser revisado novamente.

[apoliano]

Certo brunovescovi, também executei o código que você postou pelo putty, ai testei carregui um video de 4 min do youtube demorou9 min para carregar a 1º vez, quando carregou por completo fechei a página e abri de novo o mesmo video, já me devolveu o video em 2 segundos pronto, ai limpei o cache do navegador e o video carrega dando muitas pausas mais sem conumir a banda de internet.

É assim mesmo? Mais de qualquer forma já ta bom já que carrega o video sem conumir internet.

[brunovescovi]

Boa tarde, pessoal.

Certo brunovescovi, também executei o código que você postou pelo putty, ai testei carregui um video de 4 min do youtube demorou9 min para carregar a 1º vez, quando carregou por completo fechei a página e abri de novo o mesmo video, já me devolveu o video em 2 segundos pronto, ai limpei o cache do navegador e o video carrega dando muitas pausas mais sem conumir a banda de internet.

O procedimento do carregamento é na proporção que você falou mesmo: o primeiro usando a internet e as próximas cargas é direto do cache. Mas na questão velocidade de carregamento, aí depende da qualidade da sua rede e também depende se você usa QOS.

Se achar que algo está estranho demais, poste suas configurações para podermos avaliar se o tempo de carregamento está normal ou não.

Um abraço.

[apoliano]

Eu uso QoS, você acha melhor desabilita-lo ou não?

Se você pedir que eu psote alguma configuração, por favor me diga como chego até a as configurações que você que ver, informando o caminho das configurações que voc~e quer, póis o bfw é cheio de pastas e eu não to muito intimidado com o sistema ainda.

[brunovescovi]

Boa noite, pessoal.

Eu uso QoS, você acha melhor desabilita-lo ou não?

Não seria o caso de desabilitar o QOS para sempre, mas só desabilitá-lo para ver se a velocidade liberada para o seu computador esteja deixando lento o carregamento dos arquivos em cache.
Aumentar a velocidade no QOS para o seu computador também pode ser um bom teste.

Um abraço.

[goncalojr]

Olá galera boa tarde!

Eu estou usando o BFW cache à 3 semanas e o único site que tá salvando legal no cache é o orkut, eu usava a versão 3.0.254 do BFW, me aconcelharam usar a 253 que tava tudo funcionando, instalei
a 253 e os únicos sites que tá salvando agora além do orkut que é o que mais tem no cache é uol, megaupload, pop6, e 4shared.

Aqui já foram acessados vários sites como youtube, globo.com, facebook, twitter etc, mais nenhum desses tá no cache, só o cache em disco squid tem 84683 objetos em disco.
Assim que instalei o BFW cache o orkut já começou a ser salvo no cache rapidinho mais os outros sites só foram aparecer no relátorio só no outro dia.

O que tem de errado, tenho que fazer alguma alteração no squid, adicionar mais alguma regra personalizada, já tem uma vova versão do BFW cache? Como faço para atualizar?
Vejam abaixo a imagem do relátorio do cache:


A versão do BFW que estou usando é a 3.0.253

Pra mim, só funcionou corretamente quando passei a utilizar a versão 252, tudo 100%.

[apoliano]

Certo Bruno, vou fazer os testes desabilitando o QoS e aumentando a velocidade para os computadores, e amanhã postarei resultados.

Um abraço boa noite!

[fabioconchal]

vc"s repararam que com a nova atualização do youtube. os caches do youtube pararam de funcionar?

[goncalojr]

vc"s repararam que com a nova atualização do youtube. os caches do youtube pararam de funcionar?

Bom dia amigo... Sou novato aqui, tentei utilizar a ultima versão, comentando a tag do arquivo do squid, para mim não funcionou muito bem. Como sugerido em alguns posts, fiz um downgrade para a versão 252, até agora tudo perfeito, mesmo para o youtube, acredito que talvez não seria melhor esperar sair uma nova versão do cache para versões superiores do bfw, digo acima da 252? Abraços.

[apoliano]

Ok Bruno, fiz os testes com o youtube desabilitando o QoS, e parece que o problema é com o QoS mesmo por que agora os videos que estão no cache saem voando.

Ainda não testei aumentando a velocidade de banda para os computadores, mais se eu fizer psotarei de novo os resultados.

Testei ativando o QoS de novo e não funcionou, só funciona se desativar o QoS.

Alguém ai tá usando o BFW 3.0.255 + BFW cache + QoS, funcionando 100%? Póis to pensando em atualizar para versão 3.0.255 e queria saber de vocês se tá tudo ok na nova versão.

Detalhe: Meu link é de 320 kbps.

Brunovescovi parabéns pelo addon, agora vi que que ele funciona de verdade show de bola...