SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Here we discuss compilation and how to build an addon for BFW.

SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor M客¡NhØ §åMµ®å¡ » Qui Jul 22, 2010 10:34 am

Este tópico é Continuação do Tópico SquidCacheAux - Cache Auxiliar do Squid - Parte 3.

Última mensagem do Tópico acima: :arrow: viewtopic.php?f=15&t=73651&p=227080#p227080

**********************************************************************************************************************
:arrow: Addon-Factory do SquidCacheAux

:arrow: Tutorial do Addon SquidCacheAux (Português)

:arrow: Tutorial do Addon SquidCacheAux (Espanhol)
Utilize a busca do fórum! Ela é sua amiga!
Não dou suporte via MP ou MSN para ninguém. Por favor, não insista. (Para que existe o fórum?)
É novo aqui? É "antigo" e mesmo assim está perdido?
Então leia:
Avatar do usuário
M客¡NhØ §åMµ®å¡
BFW Developer
BFW WebServer
BFW Beneméritos
BFW Add-on Developer
BFW Moderator
BFW Manager
 
Mensagens: 4111
Registrado em: Qua Abr 08, 2009 11:06 am
Localização: Rio de Janeiro
BrazilFW Box: Máquina Física
CPU: AMD Athlon(tm) II X2 215 Processor
Memória: 1 GiB / Link 50 MB
BFW 3.0.262 64 bits.
Serviços Ativos: DNS, DHCP
Addons: Samba, Pure-FTPd (no certified), BFW WebServer (no certified)

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor niraseco » Ter Jul 27, 2010 11:48 am

Hola Marcio, buenos dias,
Tengo la inquietud de como apagar SCA por consola,
¿Me dás una mano?

Te antemano muchas gracias amigo.

Saludos


Traducido por Google:
Oi Marcio, bom dia,
Tenho a preocupação de SCA como desligar o console,
Você pode me dar uma mão?

Agradeço muito amigo de antemão.
niraseco
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor M客¡NhØ §åMµ®å¡ » Ter Jul 27, 2010 12:29 pm

niraseco escreveu:Hola Marcio, buenos dias,
Tengo la inquietud de como apagar SCA por consola,
¿Me dás una mano?

Apagar seria excluir ou desativar/parar o serviço ?

Se for excluir, é igual à qualquer outro addon, bastando:
Código: Selecionar todos
mt
rm /mnt/SquidCacheAux.tgz
rm /mnt/perl.tgz
rm /mnt/PerlDateTimeModule.tgz
rm /mnt/lynx.tgz
rm /mnt/nicewget.tgz
umt
reboot


Se for somente para parar o serviço:
Código: Selecionar todos
/etc/rc.d/pkgs/rc.zzz_SquidCacheAux stop


Abraço, amigo! :o!
Utilize a busca do fórum! Ela é sua amiga!
Não dou suporte via MP ou MSN para ninguém. Por favor, não insista. (Para que existe o fórum?)
É novo aqui? É "antigo" e mesmo assim está perdido?
Então leia:
Avatar do usuário
M客¡NhØ §åMµ®å¡
BFW Developer
BFW WebServer
BFW Beneméritos
BFW Add-on Developer
BFW Moderator
BFW Manager
 
Mensagens: 4111
Registrado em: Qua Abr 08, 2009 11:06 am
Localização: Rio de Janeiro
BrazilFW Box: Máquina Física
CPU: AMD Athlon(tm) II X2 215 Processor
Memória: 1 GiB / Link 50 MB
BFW 3.0.262 64 bits.
Serviços Ativos: DNS, DHCP
Addons: Samba, Pure-FTPd (no certified), BFW WebServer (no certified)

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor niraseco » Ter Jul 27, 2010 12:52 pm

Gracias Marcio por la rápida atención,
Se for somente para parar o serviço:

Code: Select all
/etc/rc.d/pkgs/rc.zzz_SquidCacheAux stop



Realmente lo que quiero es apagar/parar el servicio desde consola. El motivo es que uso ArgentoQos y este al mandar a reiniciar brazilfw no desmonta automaticamente todas las particiones definidas en partition. Ya que adapté SCA a argentoQOS estaba buscando la manera de apagarlo para evitar corrupción de datos al mandar a reiniciar o apagar el server.

Gracias amigo


Traductor Google:
Se for somente para parar o serviço:

Code: Select all
/etc/rc.d/pkgs/rc.zzz_SquidCacheAux stop


Eu realmente quero é desligar / parar o serviço a partir do console. A razão é que ArgentoQos e usar isto para não enviar automaticamente BrazilFW reset desmontar todas as partições definidas na partição. Desde SCA adaptado para argentoQOS estava procurando maneiras de desligado para evitar corrupção de dados, enviando um reiniciar ou desligar o servidor.



Saludos y un abrazo
niraseco
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor juliojc » Qua Jul 28, 2010 3:02 am

Hola amigo Marcio (M客¡NhØ §åMµ®å¡).

Me tomé el tiempo de recopilar la información de este post Traducción Tutorial S.C.A. Módulos en Español (que al parecer faltó concluirlo) para completar el tutorial.

Bien aquí dejo el enlace para descargar el Tutorial SquidCacheAux en pdf.

Este link dejado junto al post de los addon del SCA esta vacío: http://www.brazilfw.com.br/users/MarcinhoSamurai/addons/2.3x/SquidCacheAux/tutorial/Tutorial%20do%20SquidCacheAux(esp).pdf. Sería buena idea ubicar el tutorial con ese enlace.

Nos vemos.


-------------------------
Tradução:

Olá amigo Marcio.
Tomei-me o tempo de recopilar a informação deste pós Tradução Tutorial S.C.A. Módulos em Espanhol (que ao que parece faltou o concluir) para completar o tutorial.

Bem aqui deixo o enlace para descargar o Tutorial SquidCacheAux em pdf.

Este link deixado junto ao pós dos addon do SCA esta vazio: http://www.brazilfw.com.br/users/MarcinhoSamurai/addons/2.3x/SquidCacheAux/tutorial/Tutorial%20do%20SquidCacheAux(esp).pdf. Seria boa ideia localizar o tutorial com esse enlace.

Vemos-nos.
------------
Julio César


---------------------------------------------------------------------------------
El éxito en la vida no se mide por lo que logras, sino por los obstáculos que superas
Avatar do usuário
juliojc
BFW Very Participative
 
Mensagens: 444
Registrado em: Qui Jul 03, 2008 12:45 pm
Localização: Peru
BrazilFW Box: HP Proliant ML115 G5 QuadCore AMD64 Opteron 2.2GHz, 7GB RAM, 120GB SSD
BFW 3.0.262 - 64bits
Subredes + DNS
QoS + Squid
Línea Dedicada Simétrico 1Gbps

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor M客¡NhØ §åMµ®å¡ » Qua Jul 28, 2010 10:03 am

juliojc escreveu:Hola amigo Marcio (M客¡NhØ §åMµ®å¡).

Me tomé el tiempo de recopilar la información de este post Traducción Tutorial S.C.A. Módulos en Español (que al parecer faltó concluirlo) para completar el tutorial.

Bien aquí dejo el enlace para descargar el Tutorial SquidCacheAux en pdf.

Este link dejado junto al post de los addon del SCA esta vacío: http://www.brazilfw.com.br/users/MarcinhoSamurai/addons/2.3x/SquidCacheAux/tutorial/Tutorial%20do%20SquidCacheAux(esp).pdf. Sería buena idea ubicar el tutorial con ese enlace.

Nos vemos.


-------------------------
Tradução:

Olá amigo Marcio.
Tomei-me o tempo de recopilar a informação deste pós Tradução Tutorial S.C.A. Módulos em Espanhol (que ao que parece faltou o concluir) para completar o tutorial.

Bem aqui deixo o enlace para descargar o Tutorial SquidCacheAux em pdf.

Este link deixado junto ao pós dos addon do SCA esta vazio: http://www.brazilfw.com.br/users/MarcinhoSamurai/addons/2.3x/SquidCacheAux/tutorial/Tutorial%20do%20SquidCacheAux(esp).pdf. Seria boa ideia localizar o tutorial com esse enlace.

Vemos-nos.

Hermano, muchas gracias ¡

Muito obrigado mesmo, já estou fazendo as devidas alterações na página de apresentação do addon para apontar para o tutorial em espanhol.

Em breve teremos de atualizar esse tutorial, mas as alterações não serão tão grandes assim, então acho que dá para fazer rapidamente.

Mais uma vez, muito obrigado, hermano! :o! :aplause: dancing

Saludos ! :o!
Utilize a busca do fórum! Ela é sua amiga!
Não dou suporte via MP ou MSN para ninguém. Por favor, não insista. (Para que existe o fórum?)
É novo aqui? É "antigo" e mesmo assim está perdido?
Então leia:
Avatar do usuário
M客¡NhØ §åMµ®å¡
BFW Developer
BFW WebServer
BFW Beneméritos
BFW Add-on Developer
BFW Moderator
BFW Manager
 
Mensagens: 4111
Registrado em: Qua Abr 08, 2009 11:06 am
Localização: Rio de Janeiro
BrazilFW Box: Máquina Física
CPU: AMD Athlon(tm) II X2 215 Processor
Memória: 1 GiB / Link 50 MB
BFW 3.0.262 64 bits.
Serviços Ativos: DNS, DHCP
Addons: Samba, Pure-FTPd (no certified), BFW WebServer (no certified)

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor juliojc » Qua Jul 28, 2010 7:35 pm

De nada Marcinho.

Una consulta, cual es el tamaño recomendado que se debe asignar al SCA para que trabaje de manera optima.
Y cuánto asignastes al caché del squid ?

Gracias.

----------------------
Tradução

De nada Marcinho.

Uma consulta, qual é o tamanho recomendado que se deve atribuir ao SCA para que trabalhe de maneira optima.
E quanto asignastes ao caché do squid ?

Obrigado.
------------
Julio César


---------------------------------------------------------------------------------
El éxito en la vida no se mide por lo que logras, sino por los obstáculos que superas
Avatar do usuário
juliojc
BFW Very Participative
 
Mensagens: 444
Registrado em: Qui Jul 03, 2008 12:45 pm
Localização: Peru
BrazilFW Box: HP Proliant ML115 G5 QuadCore AMD64 Opteron 2.2GHz, 7GB RAM, 120GB SSD
BFW 3.0.262 - 64bits
Subredes + DNS
QoS + Squid
Línea Dedicada Simétrico 1Gbps

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor franciscojsh » Sex Jul 30, 2010 3:03 pm

Caro Marcinho, instalei o Redirector e como ele usa um redir.pl da vida (redirector.pl) imaginei que isso venha a impedir o funcionamento normal do SCA, estou errado?
franciscojsh
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor M客¡NhØ §åMµ®å¡ » Sex Jul 30, 2010 3:40 pm

juliojc escreveu:Una consulta, cual es el tamaño recomendado que se debe asignar al SCA para que trabaje de manera optima.
Y cuánto asignastes al caché del squid ?

O cache do SCA (para os plugins) é separado do cache do Squid e trabalhar de forma diferente, portanto pode ficar muito maior que o cache do Squid que não há problemas.

O cache do Squid, já foi falado algumas vezes no fórum que não é recomendado utilizar um cache maior que 5 Gb no Squid.

No SCA, dependendo do tamanho de seu HD e de que addons você utiliza, pode colocar a metade do espaço da segunda partição que fica bom.

franciscojsh escreveu:Caro Marcinho, instalei o Redirector e como ele usa um redir.pl da vida (redirector.pl) imaginei que isso venha a impedir o funcionamento normal do SCA, estou errado?

Você está certíssimo!
Para isso existe o addon Adzapper (dê uma olhada, está aqui mesmo, no subfórum AddonFactory)...

Abraço pessoal! :o!
Utilize a busca do fórum! Ela é sua amiga!
Não dou suporte via MP ou MSN para ninguém. Por favor, não insista. (Para que existe o fórum?)
É novo aqui? É "antigo" e mesmo assim está perdido?
Então leia:
Avatar do usuário
M客¡NhØ §åMµ®å¡
BFW Developer
BFW WebServer
BFW Beneméritos
BFW Add-on Developer
BFW Moderator
BFW Manager
 
Mensagens: 4111
Registrado em: Qua Abr 08, 2009 11:06 am
Localização: Rio de Janeiro
BrazilFW Box: Máquina Física
CPU: AMD Athlon(tm) II X2 215 Processor
Memória: 1 GiB / Link 50 MB
BFW 3.0.262 64 bits.
Serviços Ativos: DNS, DHCP
Addons: Samba, Pure-FTPd (no certified), BFW WebServer (no certified)

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor juliojc » Dom Ago 01, 2010 4:50 am

Una última pregunta. El squid y el SCA pueden estar en una misma partición ?

Gracias.

-------------
Tradução

Uma última pergunta. O squid e o SCA podem estar numa mesma partición ?

Obrigado.
------------
Julio César


---------------------------------------------------------------------------------
El éxito en la vida no se mide por lo que logras, sino por los obstáculos que superas
Avatar do usuário
juliojc
BFW Very Participative
 
Mensagens: 444
Registrado em: Qui Jul 03, 2008 12:45 pm
Localização: Peru
BrazilFW Box: HP Proliant ML115 G5 QuadCore AMD64 Opteron 2.2GHz, 7GB RAM, 120GB SSD
BFW 3.0.262 - 64bits
Subredes + DNS
QoS + Squid
Línea Dedicada Simétrico 1Gbps

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor daniel.uramg » Sex Ago 06, 2010 7:38 pm

Marcinho um pequeno Bug, ao adicionar ou editar um plugin tem um link para o manual, que esta quebrado, ele aponta para:
Código: Selecionar todos
http://www.brazilfw.com.br/users/MarcinhoSamurai/addons/2.3x/SquidCacheAux/tutorial/Tutorial%20do%20SquidCacheAux%28brz%29.pdf

onde agorá é:
Código: Selecionar todos
http://www.brazilfw.com.br/users/MarcinhoSamurai/tutoriais/Tutorial%20do%20SquidCacheAux(brz).pdf


:o! Abraços.
Avatar do usuário
daniel.uramg
BFW Beneméritos
 
Mensagens: 1426
Registrado em: Qua Mai 20, 2009 4:42 pm
Localização: Taguatinga - DF
BrazilFW Box: Athlon XP 2400+ 1Gb RAM HD 20Gb
BFW 2.31.10+SP1, Squid, DNS Cache, EasyCaptive, MySAR, Apache, SCA, SqStat, EasyBackup. Bandwidth, Pure-FTP

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor daniel.uramg » Sex Ago 06, 2010 7:54 pm

Marcinho to com um problema grávido aqui, tem uns punhetero q tao botando pra F num site aqui, voltei ate a usar o SCA pra tentar da uma amenizada, mas o problema é que os videos deste site não tem extensão, fiquei monitorando com sqstat e abri um video, o link baixado é
Código: Selecionar todos
http://www788.megaporn.com/files/519233809bac423ba41dfde81179bf2f/


Neste caso não tem geito mesmo, to num mato sem cachorro? :roll:

Valew brow abraços..
Avatar do usuário
daniel.uramg
BFW Beneméritos
 
Mensagens: 1426
Registrado em: Qua Mai 20, 2009 4:42 pm
Localização: Taguatinga - DF
BrazilFW Box: Athlon XP 2400+ 1Gb RAM HD 20Gb
BFW 2.31.10+SP1, Squid, DNS Cache, EasyCaptive, MySAR, Apache, SCA, SqStat, EasyBackup. Bandwidth, Pure-FTP

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor M客¡NhØ §åMµ®å¡ » Sáb Ago 07, 2010 12:50 am

juliojc escreveu:Una última pregunta. El squid y el SCA pueden estar en una misma partición ?

Sim.
Na verdade o diretório para o cache de ambos (Squid e SCA) estão em /partition.
daniel.uramg escreveu:Marcinho um pequeno Bug, ao adicionar ou editar um plugin tem um link para o manual, que esta quebrado, ele aponta para:

Sim, sim... Esse pequeno erro nasceu depois de uma "faxina" que foi feita em minha pasta no FTP...
Obrigado por me lembrar, brother... Está anotado. :o!
daniel.uramg escreveu:Marcinho to com um problema grávido aqui, tem uns punhetero q tao botando pra F num site aqui, voltei ate a usar o SCA pra tentar da uma amenizada, mas o problema é que os videos deste site não tem extensão, fiquei monitorando com sqstat e abri um video, o link baixado é
Código: Selecionar todos
http://www788.megaporn.com/files/519233809bac423ba41dfde81179bf2f/


Neste caso não tem geito mesmo, to num mato sem cachorro? :roll:

Valew brow abraços..

Daniel, eu acessei esse endereço que você postou e aqui para mim abrir para fazer download do arquivo (flv)...
Não sei ao certo, pois não analisei outros link's desse site, mas creio que use as extensões "padrão" desse tipo de conteúdo (vídeos), nesse caso o "flv"... Pode ser que tenham outras extensões, mas pra começar, você pode criar um plugin com as extensões flv, avi, mpeg, mpg, 3gp... Acho que já dá pra começar à testar...

O SCA está com um pequeno grande bug na hora de implementar os plugins, mas dá pra por esse pra funcionar...

Espero poder liberar logo a próxima versão (você é um dos que sabem que meu tempo está realmente muito "concorrido" :mrgreen: >| ).

Abraço à todos! :o!
Utilize a busca do fórum! Ela é sua amiga!
Não dou suporte via MP ou MSN para ninguém. Por favor, não insista. (Para que existe o fórum?)
É novo aqui? É "antigo" e mesmo assim está perdido?
Então leia:
Avatar do usuário
M客¡NhØ §åMµ®å¡
BFW Developer
BFW WebServer
BFW Beneméritos
BFW Add-on Developer
BFW Moderator
BFW Manager
 
Mensagens: 4111
Registrado em: Qua Abr 08, 2009 11:06 am
Localização: Rio de Janeiro
BrazilFW Box: Máquina Física
CPU: AMD Athlon(tm) II X2 215 Processor
Memória: 1 GiB / Link 50 MB
BFW 3.0.262 64 bits.
Serviços Ativos: DNS, DHCP
Addons: Samba, Pure-FTPd (no certified), BFW WebServer (no certified)

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor daniel.uramg » Sáb Ago 07, 2010 10:37 am

Daniel, eu acessei esse endereço que você postou e aqui para mim abrir para fazer download do arquivo (flv)...
Não sei ao certo, pois não analisei outros link's desse site, mas creio que use as extensões "padrão" desse tipo de conteúdo (vídeos), nesse caso o "flv"... Pode ser que tenham outras extensões, mas pra começar, você pode criar um plugin com as extensões flv, avi, mpeg, mpg, 3gp... Acho que já dá pra começar à testar...

Buenos dias!
então depois de eu postar aqui consegui ver que era flv tambem e criei o plugin:
Código: Selecionar todos
1|megaporn|HTTP|.megaporn.com|mp4,swf,mpg,mpeg,avi,wmv,asf,mov,asp,fla,flv|

mais olha so que estranho, eu vou em [ Listar Arquivos Cacheados pelo SquidCacheAux ] e tem vários:
Código: Selecionar todos
wwwstatic.megaporn.com/gui2/ru_mp.swf
wwwstatic.megaporn.com/gui2/bg.gif


Esta aparecendo deste plugin, de um da .globo.com, e alguns outros de sites de vídeos, aparece na lista varios arquivos GIF, PNG, SWF, etc, que não está configurado pro prugin pegar :roll:

E também no [ Visualizar o Log dos arquivos cacheados ] por ex:
Código: Selecionar todos
[Fri Aug  6 20:04:43 2010] downloaded 1635 wwwstatic.megaporn.com/images2/menu/pt/menu_03.gif
[Fri Aug  6 20:04:43 2010] downloaded 2347 wwwstatic.megaporn.com/images2/menu/pt/menu_01.gif


E o mais estranho, no [ Visualizar estatísticas de requisições ao cache ]:
Código: Selecionar todos
globo    219   -82    137
vkontakte   0   0   0
megaporn   71   65   136

veja o "Atendidos pelo link" da Globo aparece negativo, sera algum problema no CGI :?:

Agora que finalmente consegui terminar aquela faxina no EC estou mais sossegado, se precisar de uma força, alguma revisão no script e tal vc sabe q pode contar comigo.

abraços
Avatar do usuário
daniel.uramg
BFW Beneméritos
 
Mensagens: 1426
Registrado em: Qua Mai 20, 2009 4:42 pm
Localização: Taguatinga - DF
BrazilFW Box: Athlon XP 2400+ 1Gb RAM HD 20Gb
BFW 2.31.10+SP1, Squid, DNS Cache, EasyCaptive, MySAR, Apache, SCA, SqStat, EasyBackup. Bandwidth, Pure-FTP

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor get.deb » Dom Ago 08, 2010 3:28 am

Marcinho, boa madruga...
Seguinte, instalei o bfw do zero, com o squid zph, sub redes. Cache full funcionando perfeito, segundo testes que realizei com sites nao dinamicos..
Problema está com o youtube, vejo um video em uma estaçao, se for tentar carregar o video em outra estaçao ele pega tudo da net...
configuraçoes ok
Algo errado?
addons: simon, ec, SCa,famila tiny, ...
os logs dizem etar fazendo cache do windows ,mas infelizmente nao sei a realidade sobre tal.
O maior problema se refere ao youtube mesmo.
Obrigado.
Valeu cara :o!
get.deb
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor M客¡NhØ §åMµ®å¡ » Ter Ago 10, 2010 10:43 am

get.deb, posta seu squid.conf, por favor.

No aguardo...

Abraço amizade! :o!

P.S.: Talvez tenhamos algumas mudanças no decorrer desses dias, pessoal... Então fiquem de olho...
Utilize a busca do fórum! Ela é sua amiga!
Não dou suporte via MP ou MSN para ninguém. Por favor, não insista. (Para que existe o fórum?)
É novo aqui? É "antigo" e mesmo assim está perdido?
Então leia:
Avatar do usuário
M客¡NhØ §åMµ®å¡
BFW Developer
BFW WebServer
BFW Beneméritos
BFW Add-on Developer
BFW Moderator
BFW Manager
 
Mensagens: 4111
Registrado em: Qua Abr 08, 2009 11:06 am
Localização: Rio de Janeiro
BrazilFW Box: Máquina Física
CPU: AMD Athlon(tm) II X2 215 Processor
Memória: 1 GiB / Link 50 MB
BFW 3.0.262 64 bits.
Serviços Ativos: DNS, DHCP
Addons: Samba, Pure-FTPd (no certified), BFW WebServer (no certified)

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor get.deb » Qua Ago 11, 2010 1:51 am

Opa...aqui...
Código: Selecionar todos
http_port 8080 transparent
icp_port 0
#Insercao SquidCacheAux
acl store_rewrite_list urlpath_regex /(get_video?|videodownload?|videoplayback.*id)
acl QUERY2 urlpath_regex get_video? videoplayback? videodownload?
cache allow QUERY2
hierarchy_stoplist cgi-bin ?
   acl QUERY urlpath_regex cgi-bin \?
   cache deny QUERY
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
cache_mem 425 MB
   maximum_object_size 40000 KB
   minimum_object_size 4 KB
   maximum_object_size_in_memory 64 KB
cache_dir diskd /partition/squid/cache 2500 16 256 Q1=72 Q2=64
access_log /partition/squid/logs/access.log
cache_log /partition/squid/logs/cache.log
cache_store_log none

cache_effective_user nobody
cache_effective_group nogroup
pid_filename /var/run/squid.pid
half_closed_clients off
server_persistent_connections off
client_persistent_connections off
memory_pools on
buffered_logs on
pipeline_prefetch on

dns_retransmit_interval 15 seconds

#cache_swap_low 70
#cache_swap_high 90
url_rewrite_program /etc/SquidCacheAux/redir.pl
url_rewrite_children 5

refresh_pattern -i ^http://.*\.(css|htm|html|ico|js|jsp|xml)$ 1440 80% 999999
refresh_pattern -i ^http://.*\.(bmp|gif|jpeg|jpg|png)$ 1440 80% 999999 ignore-reload
refresh_pattern -i ^http://.*\.(ace|adt|arj|asf|avi|bin|bz2|bzip|cab|dat|dll|doc|dot|exe|fla|flv|gz|iso|lha|log|lzh|mdb|mid|mov|mp3|mpeg|mpg|msi|mso|ogg|pps|ppt|rar|rm|rtf|shs|src|sys|swf|tgz|tif|ttf|wav|wma|wri|wmv|vpu|vpaa|vqf|vob|zip)$ 43200 100% 999999 ignore-reload
refresh_pattern (get_video?|videoplayback?|videodownload?) 5259487 99999999% 5259487 override-expire ignore-reload

refresh_pattern ^ftp:   1440   20%   10080
refresh_pattern ^gopher:   1440   0%   1440
refresh_pattern .      0   20%   4320

acl all src 0.0.0.0/0.0.0.0
acl localhost src 127.0.0.1/255.255.255.255
#acl to_localhost dst 127.0.0.1/32

acl SSL_ports port 443 563
acl Safe_ports port 80
acl Safe_ports port 21
acl Safe_ports port 443 563
acl Safe_ports port 70
acl Safe_ports port 210
acl Safe_ports port 8180
acl Safe_ports port 1025-65535
acl Safe_ports port 280
acl Safe_ports port 488
acl Safe_ports port 591
acl Safe_ports port 777
acl Safe_ports port 901

acl manager proto cache_object
acl PURGE method PURGE
acl CONNECT method CONNECT

http_access allow PURGE localhost
http_access allow manager localhost
http_access deny PURGE
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports


### Zero Penalty Hits ###
server_persistent_connections off
zph_mode tos
zph_local 0x30
acl filterneg dstdom_regex "/usr/local/squid/etc/filter.flt"
acl block url_regex -i "/usr/local/squid/etc/block.flt"
acl internal_net src "/usr/local/squid/etc/ipaccess.yes"

#Access deny to Squid ident. header
header_access Via deny all
header_access X-Forwarded-For deny all
header_access Proxy-Connection deny all
header_access Accept-Encoding deny all
http_access deny filterneg
http_access deny block
acl CONEXOES maxconn 20
http_access deny CONEXOES internal_net
http_access allow internal_net
http_access deny all
#http_reply_access allow all
#icp_access allow all
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
visible_hostname mysystem
   coredump_dir /partition/squid/cache
   error_directory /usr/local/squid/share/errors/Portuguese
storeurl_access allow store_rewrite_list
storeurl_access deny all
storeurl_rewrite_program /etc/SquidCacheAux/storeurl.pl
storeurl_rewrite_children 5
storeurl_rewrite_concurrency 5
get.deb
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor M客¡NhØ §åMµ®å¡ » Sex Ago 13, 2010 12:31 pm

get.deb,

Aparentemente está tudo ok com seu squid.conf...
Quantos hosts tem na sua rede?

O número de "processos" rodando para o storeurl.pl está baixo (5 instâncias) e dependendo da quantidade de hosts, não atenderá à todos realmente...

De qualquer forma, posso te dizer que o script em si continua funcional (testei essa noite)... Mas o addon (SCA) está sendo revisado pois existe muita coisa pra corrigir (até por isso a demora)...

Se não funcionar mesmo aumentando a quantidade de instâncias para o cache de Youtube, desinstale o addon e aguarde a atualização sair do forno (infelizmente está demorando mais do que eu esperava, pois assumi outras coisas aqui no projeto e isso toma um tempo danado).

Abraço amizade! :o!
Utilize a busca do fórum! Ela é sua amiga!
Não dou suporte via MP ou MSN para ninguém. Por favor, não insista. (Para que existe o fórum?)
É novo aqui? É "antigo" e mesmo assim está perdido?
Então leia:
Avatar do usuário
M客¡NhØ §åMµ®å¡
BFW Developer
BFW WebServer
BFW Beneméritos
BFW Add-on Developer
BFW Moderator
BFW Manager
 
Mensagens: 4111
Registrado em: Qua Abr 08, 2009 11:06 am
Localização: Rio de Janeiro
BrazilFW Box: Máquina Física
CPU: AMD Athlon(tm) II X2 215 Processor
Memória: 1 GiB / Link 50 MB
BFW 3.0.262 64 bits.
Serviços Ativos: DNS, DHCP
Addons: Samba, Pure-FTPd (no certified), BFW WebServer (no certified)

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor nexus » Qua Ago 18, 2010 9:13 am

Marcinho Saudações.
Iniciando pela rasgação de seda, o add é excelente, estou usando ele em 4 locais que tem uma peculiaridade, são servidos por conexões de satélite e graças a ele a banda das vsats fica dentro do contratado, não entrando em restrição de velocidade, principalmente nas terças feiras negras da microsoft.
Mesmo assim, gostaria de relatar alguns problemas que venho enfrentando, como o forum do squidaux já tem um bom tamanho, fiz uma leitura corrida das 4 partes e posso ter passado batido sobre o problema, mas vamos lá.
1) Nas atualizações da MS, usando o windows ou microsoft update, notei que ele as vezes trava indicando que nãzo consegue baixar os patchs, quando isso acontece, preciso desativar o squid cache, reiniciar o windowsupdate no micro até passar da fase de escolha entre expressa e personalizada e enquanto ele rastreia ja posso ativar o squidcache que funciona tudo normal a partir disso. Minha suspeita é que o squidcache ta cacheando algum arquivo de assinatura exclusivo de cada equipamento, mas não sei bem como rastrear isso.
2) nas estatisticas do squidcache acontece de aparecer valores negativos, conform relatado em um post logo acima deste, não vejo problemas, mas isto esta ocorrendo pra mim nas atualizações do kaspersky.
3) Notei tambem que o java mudou de site de dowloand, agora está no javadl.oracle.com, montei um plugin com este site e as extensoes do plugin java, mas não funcionou, se ALLguem tiver alguma sugestão, também é bem vindo.
4) Notei tambem que com o aumento do espaço na partição acabamos tendo muitos arquivos que vão ficando obsoletos, assim, gostaria de sugerir com evolução do projeto, que pudessemos definir o tempo máximo de cache por plugin, evitando que o cache fique poluido com materiais que não são utilizados com frequencia.
5) Existe alguma forma de mostrar os hits do windows update?? Fiz um teste montando um plug in com o windows update e extensoes cab e exe, mas tambem ficava apontando hits negativos entao removi a mesma para evitar conflitos.
Desculpem pelo longo post e mais uma vez parabéns pelo add.on.

BFW- 2.31.10
squid, serie tiny, bmt, squidcachaux, maquina p4 2.8 com 1 gb ram, hd 80 gb.
nexus
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor M客¡NhØ §åMµ®å¡ » Qui Ago 19, 2010 12:37 pm

nexus escreveu:1) Nas atualizações da MS, usando o windows ou microsoft update, notei que ele as vezes trava indicando que nãzo consegue baixar os patchs, quando isso acontece, preciso desativar o squid cache, reiniciar o windowsupdate no micro até passar da fase de escolha entre expressa e personalizada e enquanto ele rastreia ja posso ativar o squidcache que funciona tudo normal a partir disso. Minha suspeita é que o squidcache ta cacheando algum arquivo de assinatura exclusivo de cada equipamento, mas não sei bem como rastrear isso.

Já relataram esse problema para mim aqui uma vez (acho que foi até o daniel.uramg)... O grande problema para mim é o tempo para testar... >|
Mas espero poder conseguir realizar testes referentes à isso logo-logo.
nexus escreveu:2) nas estatisticas do squidcache acontece de aparecer valores negativos, conform relatado em um post logo acima deste, não vejo problemas, mas isto esta ocorrendo pra mim nas atualizações do kaspersky.

O script que gera essas estatísticas está sendo revisado...
nexus escreveu:3) Notei tambem que o java mudou de site de dowloand, agora está no javadl.oracle.com, montei um plugin com este site e as extensoes do plugin java, mas não funcionou, se ALLguem tiver alguma sugestão, também é bem vindo.

Opa... Na próxima versão já sai com essa alteração... Valeu mesmo! :o!
Está anotado...
nexus escreveu:4) Notei tambem que com o aumento do espaço na partição acabamos tendo muitos arquivos que vão ficando obsoletos, assim, gostaria de sugerir com evolução do projeto, que pudessemos definir o tempo máximo de cache por plugin, evitando que o cache fique poluido com materiais que não são utilizados com frequencia.

Não sei se consigo algo nesse sentido já para a próxima atualização, mas pode ser pensado sim.
nexus escreveu:5) Existe alguma forma de mostrar os hits do windows update?? Fiz um teste montando um plug in com o windows update e extensoes cab e exe, mas tambem ficava apontando hits negativos entao removi a mesma para evitar conflitos.

Um dos motivos do script que gera as estatísticas estar sendo revisado é justamente esse... Acrescentar estatísticas dos "WinUpdate"..
Nossa grande amigo nachazo, que é o autor do script, já me enviou uma atualização contando com essa alteração... Então somente falta eu terminar a "faxina", revisar o script atualizado que ele me enviou e acrescentar no addon.

Obrigado pelos relatos, amizade!
Se o addon vem crescendo cada vez mais é justamente pelos testes e relatos de todos vocês... :aplause:

Abraço amizade! :o!
Utilize a busca do fórum! Ela é sua amiga!
Não dou suporte via MP ou MSN para ninguém. Por favor, não insista. (Para que existe o fórum?)
É novo aqui? É "antigo" e mesmo assim está perdido?
Então leia:
Avatar do usuário
M客¡NhØ §åMµ®å¡
BFW Developer
BFW WebServer
BFW Beneméritos
BFW Add-on Developer
BFW Moderator
BFW Manager
 
Mensagens: 4111
Registrado em: Qua Abr 08, 2009 11:06 am
Localização: Rio de Janeiro
BrazilFW Box: Máquina Física
CPU: AMD Athlon(tm) II X2 215 Processor
Memória: 1 GiB / Link 50 MB
BFW 3.0.262 64 bits.
Serviços Ativos: DNS, DHCP
Addons: Samba, Pure-FTPd (no certified), BFW WebServer (no certified)

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor nexus » Sex Ago 20, 2010 7:23 pm

Marcinho,

Primeiramente agradeço pela resposta.
Estava em busca de mais informações sobre o cache de arquivos MS e achei este tópico em outro forum de linux e trata de cache do winupdate sem a necessidade de ferramentas externas. Não sei se é do seu conhecimento, mas se interessar, segue o link com as informações.
http://www.linuxadm.com.br/2010/08/17/fazendo-cache-do-windows-update-versao-082010/

Parabéns novamente pelo squidcache.
Abraços.
nexus
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor MarcioRS » Sáb Ago 28, 2010 5:50 am

Bom dia Marcio. Como Vai?

Seguinte...

Eu fiz a instalação do SCA conforme descrito lá no inicio da parte 1 deste tópico, só que eu estou tendo um problema meio estranho.
Depois que eu instalei ele e tudo direitinho, ele simplesmente não deixa o squid carregar e fico sem internet, sendo obrigado a iniciar o squid "no braço" pelo webadmin.

Eu sinceramente venho lendo desde a 1ª parte deste tópico e não achei nada parecido com o problema que eu tenho!! :-( ^/

Abaixo segue a parte do log do BFW que eu vi os erros.

    Inicio da parte que mostra o problema no log

    Aug 28 04:34:15 amazonfw daemon.info pdnsd[2097]: pdnsd-1.2.7-par starting.
    Aug 28 04:34:15 amazonfw daemon.info pdnsd[2097]: Server status thread started.
    Aug 28 04:34:15 amazonfw daemon.info pdnsd[2097]: Status thread started.
    Aug 28 04:34:15 amazonfw daemon.info pdnsd[2097]: tcp server thread started.
    Aug 28 04:34:15 amazonfw daemon.info pdnsd[2097]: udp server thread started.
    Aug 28 04:34:18 amazonfw daemon.info dnsmasq[2105]: started, version 2.46 DNS disabled
    Aug 28 04:34:18 amazonfw daemon.info dnsmasq[2105]: compile time options: no-IPv6 GNU-getopt no-DBus no-I18N TFTP
    Aug 28 04:34:18 amazonfw daemon.info dnsmasq[2105]: DHCP, IP range 10.10.1.2 -- 10.10.1.2, lease time 1h
    Aug 28 04:34:18 amazonfw daemon.info dnsmasq[2105]: DHCP, IP range 192.168.0.2 -- 192.168.0.2, lease time 2h
    Aug 28 04:34:18 amazonfw user.notice root: rc.dnscache: dnsmasq returned exit code 0
    Aug 28 04:34:21 amazonfw user.notice root: rc.dnscache: DNS Cache running now!
    Aug 28 04:34:21 amazonfw user.notice root: rc.dnscache: dnsguard.sh killed in 0
    Aug 28 04:34:22 amazonfw user.notice root: rc.dnsguard: VRF=
    Aug 28 04:34:22 amazonfw user.notice root: rc.dnsguard: Starting DNSGuard...
    Aug 28 04:34:22 amazonfw user.notice root: rc.dnscache: dnsguard.sh started in 0 try
    Aug 28 04:34:22 amazonfw user.notice root: rc.dnscache: DNSguard running...
    Aug 28 04:34:22 amazonfw user.notice root: Configuring Squid
    Aug 28 04:34:22 amazonfw user.notice root: Check Disk Cache Partition
    Aug 28 04:34:23 amazonfw user.notice root: Squid running now!
    Aug 28 04:34:23 amazonfw local4.notice squid[2325]: Squid Parent: child process 2329 started
    Aug 28 04:34:28 amazonfw user.notice root: Starting Transparent Proxy to Squid
    Aug 28 04:34:28 amazonfw daemon.notice thttpd[2401]: thttpd/2.25b 29dec2003 starting on 192.168.0.1, port 8180
    Aug 28 04:34:28 amazonfw daemon.warn thttpd[2401]: started as root without requesting chroot(), warning only
    Aug 28 04:34:28 amazonfw daemon.info thttpd[2401]: up 0 seconds, stats for 1 seconds:
    Aug 28 04:34:28 amazonfw daemon.info thttpd[2401]: thttpd - 0 connections (0/sec), 0 max simultaneous, 0 bytes (0/sec), 0 httpd_conns allocated
    Aug 28 04:34:28 amazonfw daemon.info thttpd[2401]: map cache - 0 allocated, 0 active (0 bytes), 0 free; hash size: 0; expire age: 600
    Aug 28 04:34:28 amazonfw daemon.info thttpd[2401]: fdwatch - 1 polls (1/sec)
    Aug 28 04:34:28 amazonfw daemon.info thttpd[2401]: timers - 3 allocated, 3 active, 0 free
    Aug 28 04:34:28 amazonfw daemon.notice thttpd[2401]: exiting due to signal 15
    Aug 28 04:34:38 amazonfw daemon.info init: Starting pid 5038, console /dev/tty1: '/sbin/getty'
    Aug 28 04:34:38 amazonfw daemon.info init: Starting pid 5039, console /dev/tty2: '/sbin/getty'
    Aug 28 04:34:38 amazonfw daemon.info init: Starting pid 5040, console /dev/tty3: '/sbin/getty'
    Aug 28 04:34:38 amazonfw local4.alert squid[2329]: The url_rewriter helpers are crashing too rapidly, need help!
    Aug 28 04:34:38 amazonfw local4.notice squid[2325]: Squid Parent: child process 2329 exited due to signal 6
    Aug 28 04:34:41 amazonfw local4.notice squid[2325]: Squid Parent: child process 5050 started
    Aug 28 04:34:41 amazonfw local4.alert squid[5050]: The url_rewriter helpers are crashing too rapidly, need help!
    Aug 28 04:34:41 amazonfw local4.notice squid[2325]: Squid Parent: child process 5050 exited due to signal 6
    Aug 28 04:34:44 amazonfw local4.notice squid[2325]: Squid Parent: child process 5085 started
    Aug 28 04:34:45 amazonfw local4.alert squid[5085]: The url_rewriter helpers are crashing too rapidly, need help!
    Aug 28 04:34:45 amazonfw local4.notice squid[2325]: Squid Parent: child process 5085 exited due to signal 6
    Aug 28 04:34:48 amazonfw local4.notice squid[2325]: Squid Parent: child process 5171 started
    Aug 28 04:34:48 amazonfw local4.alert squid[5171]: The url_rewriter helpers are crashing too rapidly, need help!
    Aug 28 04:34:48 amazonfw local4.notice squid[2325]: Squid Parent: child process 5171 exited due to signal 6
    Aug 28 04:34:51 amazonfw local4.notice squid[2325]: Squid Parent: child process 5191 started
    Aug 28 04:34:51 amazonfw local4.alert squid[5191]: The url_rewriter helpers are crashing too rapidly, need help!
    Aug 28 04:34:51 amazonfw local4.notice squid[2325]: Squid Parent: child process 5191 exited due to signal 6
    Aug 28 04:34:54 amazonfw local4.notice squid[2325]: Squid Parent: child process 5226 started
    Aug 28 04:34:55 amazonfw local4.alert squid[5226]: The url_rewriter helpers are crashing too rapidly, need help!
    Aug 28 04:34:55 amazonfw local4.notice squid[2325]: Squid Parent: child process 5226 exited due to signal 6
    Aug 28 04:34:55 amazonfw local4.alert squid[2325]: Exiting due to repeated, frequent failures
    Aug 28 04:35:01 amazonfw cron.notice crond[2016]: USER root pid 5279 cmd mysar --quiet --groupdomains

    Fim de logo

Por favor, peço ao colega encarecidamente por uma orientação.

Agradeço desde já por sua ajuda e atenção!

Márcio
"Vida longa e Prospera! (Sr. Spock)"
Avatar do usuário
MarcioRS
BFW Curious
 
Mensagens: 40
Registrado em: Ter Dez 23, 2008 2:29 am
Localização: No meio do mato, em algum lugar da floresta Amazônica
BrazilFW Box: BrazilFW:2.32.2 - Kernel:2.4.36.2
AMD Sempron 3000+ 1808.264
ASRock K8NF6G-VSTA
2 GB RAM
80 GB HD HITACHI
2 NIC's REALTEK e 1 NIC ONBOARD

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor francisco » Qua Out 06, 2010 6:05 pm

Boa tarde pessoal !

Beleza Marcinho ! ,gostaria de saber se o sca que esta para down foi feito alterações nele ,pois estava com o meu funcionando o cache do youtube e reinstalei e agora estou com o mesmo problema do get.deb sobre o youtube ,a máquina está apenas com squid e sca ,vou fazer uns teste e no squid conf para ver se acho a causa blz. grande abraço :o!
francisco
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor francisco » Sáb Out 09, 2010 5:53 pm

aconteceu com mais alguem a para de cache do youtube?
francisco
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor M客¡NhØ §åMµ®å¡ » Dom Out 10, 2010 9:59 am

francisco escreveu:Boa tarde pessoal !

Beleza Marcinho ! ,gostaria de saber se o sca que esta para down foi feito alterações nele ,pois estava com o meu funcionando o cache do youtube e reinstalei e agora estou com o mesmo problema do get.deb sobre o youtube ,a máquina está apenas com squid e sca ,vou fazer uns teste e no squid conf para ver se acho a causa blz. grande abraço :o!

Olá francisco.
Rapaz, o que está disponível para download é o que foi alterado mesmo...

Alguns membros do fórum estão cientes da minha situação no momento (o porque de eu estar tão afastado e etc)...

O que posso dizer no momento é que em breve eu retomarei o SCA...

Sendo sincero com você (e com os demais leitores do tópico), eu pensei em descontinuar esse addon, devido a falta de tempo para mexer com ele. Mas existem muitos usuários utilizando o SCA e muitas vezes não é por testes ou só pra fazer cache dos vídeos do Youtube... Muitas vezes é necessidade mesmo, pois, as operadoras e suas franquias acabam ferrando o pessoal.
Isso me estimula a continuar na luta com o SCA, pois ele é útil para muitas pessoas.

Bom, tão logo eu tenha uma melhora no meu quadro e possa voltar a passar horas na frente do pc, eu retomo o SCA (termino a revisão que já tinha começado).

Abraço amizade! :o!
Utilize a busca do fórum! Ela é sua amiga!
Não dou suporte via MP ou MSN para ninguém. Por favor, não insista. (Para que existe o fórum?)
É novo aqui? É "antigo" e mesmo assim está perdido?
Então leia:
Avatar do usuário
M客¡NhØ §åMµ®å¡
BFW Developer
BFW WebServer
BFW Beneméritos
BFW Add-on Developer
BFW Moderator
BFW Manager
 
Mensagens: 4111
Registrado em: Qua Abr 08, 2009 11:06 am
Localização: Rio de Janeiro
BrazilFW Box: Máquina Física
CPU: AMD Athlon(tm) II X2 215 Processor
Memória: 1 GiB / Link 50 MB
BFW 3.0.262 64 bits.
Serviços Ativos: DNS, DHCP
Addons: Samba, Pure-FTPd (no certified), BFW WebServer (no certified)

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor senaronald » Dom Out 10, 2010 10:39 am

Grande cole tenta entra em contato com daniel.uramg

Pois ele esta disponivel para ajudar no projeto pois ele terminou a revisão do E.C e ta com um tempinho livre.

E força amigo muita força que vc vai conseguir o que estar fazendo no momento que concerteza vc ira conseguir.........

Claro meu parabéns por sua dedicação e pelo Add-on e pela iniciativa e o mais importante de não deixa o Add-on morre..... :o!
senaronald
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor Zaymms » Dom Out 10, 2010 4:42 pm

francisco escreveu:aconteceu com mais alguem a para de cache do youtube?

Sim, o cache do youtube não funfa mais :-(
O Google deve ter feito alguma atualização no YouTube, infelizmente.
Zaymms
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor francisco » Dom Out 10, 2010 7:17 pm

Marcinho ,obrigado pele resposta e de coração melhoras mestre samurai.
francisco
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor francisco » Dom Out 10, 2010 7:23 pm

Zaymms escreveu:
francisco escreveu:aconteceu com mais alguem a para de cache do youtube?

Sim, o cache do youtube não funfa mais :-(
O Google deve ter feito alguma atualização no YouTube, infelizmente.


acho que não,aqui estava normal ,só percebi quando reinstalei num outro hd mas vamos tentar descobrir o que possa ser ,se possível se alguem tiver a versão anterior para fazer um teste é bom.
francisco
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor franciscojsh » Seg Out 11, 2010 10:59 am

Acabei de testar e vi que não funciona mais.
franciscojsh
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor francisco » Ter Out 12, 2010 9:49 pm

franciscojsh escreveu:Acabei de testar e vi que não funciona mais.


beleza xará ,você testou com a versão que já tinha ou instalou para ver ?
francisco
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor franciscojsh » Qua Out 13, 2010 11:20 am

Apenas observei que não faz mais cache com a versão que já tinha, ou seja a última a ser lançada.
franciscojsh
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor Thiago » Qua Out 13, 2010 12:24 pm

Peço paciencia a todos os amigos...
Certo que não esta fazendo o cache, mas logo logo vamos ver de que se trata...
Abrass :o!
Thiago
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor M客¡NhØ §åMµ®å¡ » Qua Out 13, 2010 2:52 pm

Addon atualizado!
VERSION="1.0.20101013.1400"

BugFix:
  • Elimanadas funções do script "lu.zzz_SquidCacheAux" (o arquivo continua a existir, mas não executa nada... Ele foi mantido devido a testes futuros);
  • Eliminado bug da reprodução das extensões para todos os plugins (as extensões iam se acomulando e sendo passadas para todos os plugins);
  • Correção no script de limpeza do cache (declaração errada de uma variável fazia com que o cache do SCA nunca fosse limpo);
  • Correção no script de limpeza do log (declaração errada de uma variável fazia com que o log do SCA nunca fosse limpo)

Update (o que foi atualizado/revisado/acrescentado no SCA):
  • Revisado e atualizado o script "GeraHits.sh", que é responsável por gerar as "estatísticas de uso do cache" do SCA (agora também são mostrados HIT's/MISS de atualizações do Windows - Obrigado nachazo! :o! );
  • Revisado e atualizado script "SCAGuard.sh", que é responsável por ficar monitorando o squid.conf e "reinserir" as configurações do SCA caso o Squid seja recarregado (quando recarrega-se o Squid, se a criação automática do squid.conf estiver habilitada, as configurações referentes ao SCA "somem"... Esse script as insere novamente para que o SCA não pare de funcionar);
  • Criado o script "SCAUpdate.sh" (agora será possível atualizar o SCA via WebAdmin, apensa clicando em um link... O próprio SCA fará backup dos plugins e das configurações... Esse script será mantido até que o addon se torne estável/oficial);
  • Revisão do script de limpeza do cache/log;
  • Revisão do script de inicialização (agora além das dependências que já eram testadas, foram acrescentas as verificações de cache em disco (se está habilitado) e de tamanho máximo de objeto em cache);
  • Acrescentada sentença para organização em ordem alfabética do arquivo Plugins, também eliminando Plugins duplicados (plugins que sejam exatamente iguais) - Obrigado ThiagoFW! :o!
  • Revisão da interface Web do addon e acréscimo da opção de atualização.

ATENÇÃO
  • O cache em disco deve estar habilitado no Squid, senão o SCA não funcionará;
  • O tamanho máximo do objeto em cache deve ser maior ou igual à 50 Mb (51200 kb), senão o SCA não funcionará;
  • As duas configurações acima são feitas/vistas na tela de configuração do Squid;
  • Antes de baixar novamente o pacote para atualizar em seu BFW, lembre-se de fazer backup do arquivo "/etc/SquidCacheAux/plugins", senão você perderá seus plugins (na próxima atualização isso já não será necessário);
  • Lembre-se de configurar o SCA conforme suas necessidades, pois ele "vem configurado de fabrica" com valores "relativamente baixos" dependendo do seu ambiente;
  • Sei que os tutoriais estão desatualizados... Tão logo tenha tempo disponível, tratarei de atualizá-los;
  • Qualquer dúvida ou problema deve ser relatado neste tópico... Por favor, não abra tópicos em outros sub-fóruns.

Para atualizar seu SCA, basta fazer o download do arquivo http://www.brazilfw.com.br/users/MarcinhoSamurai/addons/2.31.10/SquidCacheAux.tgz e seguir os passos para instalação de um addon normalmente.

Lembrando que deve-se fazer backup do arquivo de plugins para não perder os plugins criados por você.

Aguardo relatos...

Abraço à todos! :o!

P.S.: O cache de vídeos do Youtube está totalmente funcional nesta versão! :D
Utilize a busca do fórum! Ela é sua amiga!
Não dou suporte via MP ou MSN para ninguém. Por favor, não insista. (Para que existe o fórum?)
É novo aqui? É "antigo" e mesmo assim está perdido?
Então leia:
Avatar do usuário
M客¡NhØ §åMµ®å¡
BFW Developer
BFW WebServer
BFW Beneméritos
BFW Add-on Developer
BFW Moderator
BFW Manager
 
Mensagens: 4111
Registrado em: Qua Abr 08, 2009 11:06 am
Localização: Rio de Janeiro
BrazilFW Box: Máquina Física
CPU: AMD Athlon(tm) II X2 215 Processor
Memória: 1 GiB / Link 50 MB
BFW 3.0.262 64 bits.
Serviços Ativos: DNS, DHCP
Addons: Samba, Pure-FTPd (no certified), BFW WebServer (no certified)

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor MirageIII » Qua Out 13, 2010 3:58 pm

Addon atualizado! Traduccion español
VERSION="1.0.20101013.1400"

Solución de error:

* Elimane funciones de secuencia de comandos "lu.zzz_SquidCacheAux" (el archivo aún existe, pero no se ejecuta ... Esto es debido a las pruebas en un futuro sercano);
* Eliminada la reproducción de errores de extensiones para todos los plugins (extensiones y rastros eredados que pasan a todos los plugins);
* Fijar la limpieza de caché de escritura (la declaración incorrecta de una variable causó la caché nunca se limpió SCA);
* Fijar la secuencia de comandos para limpiar el registro (declaración incorrecta de una variable causado el registro de la CEA no se limpió)


Actualización (que ha sido de actualización / revisión / agregado en el SCA):

* Revisado y actualizado el script "GeraHits.sh", que es responsable de generar las "estadísticas de uso de la caché" de la AEC (ahora también se muestra HIT / Actualizaciones de Windows - Gracias nachazo!!!!
* Revisión y actualización del script SCAGuard.sh ", que es responsable de mantener y supervisar el squid.conf" volver a entrar "la configuración de la CEA, si se vuelve a cargar Squid (calamar cuando se recarga, si la creación automática de squid.conf está habilitada, la configuración de la SCA "desaparecen" ... Esto inserta códigos de nuevo para que CEA no deja de trabajar);
* Creado el guión "SCAUpdate.sh" (ahora se puede actualizar a través de la AEC WebAdmin, adjunto haciendo clic en un enlace ... La SCA propia voluntad hasta los plugins y configuración ... Este script se mantendrá hasta que se convierte en el complemento stable / oficial);
* Revisión de la secuencia de comandos para limpiar la caché / registro;
* Revisión de los guiones de inicio (en la actualidad más allá de sus premisas que se probaron fueron agregados los controles de caché de disco (si está activado) y el tamaño máximo de caché de objetos);
* Revisión de la interfaz Web de complemento y la adición de la opción de actualización.


ATENCIÓN

* El caché de disco debe estar habilitado en Squid, pero la SCA no funcionará;
* El tamaño máximo del objeto en caché debe ser mayor o igual a 50 Mb (51 200 kb), pero la SCA no funcionará;
* Estos dos ajustes se hacen / se ve en la pantalla de configuración de Squid;
* Antes de descargar el paquete para actualizar en su BFW, recuerde hacer una copia de seguridad del archivo "/ etc / SquidCacheAux / plugins", de lo contrario perderán sus plugins (en la próxima actualización que ya no será necesario);
* Recuerde que debe configurar de la AEC como a sus necesidades, porque "viene de fábrica configurado" con valores "relativamente bajo", dependiendo de su entorno;
* Sé que los tutoriales son obsoletos ... Tan pronto como tenga tiempo disponible, voy a tratar de ponerlos al día;
* Cualquier pregunta o problema debe ser reportado en este tema ... Por favor, no abrir otros sub-temas en los foros.


Para actualizar la ACS, sólo tiene que descargar el archivo http://www.brazilfw.com.br/users/MarcinhoSamurai/addons/2.31.10/SquidCacheAux.tgz y siga los pasos para instalar un complemento con normalidad.

Recuerde que usted debe hacer una copia el archivo de plugins para no perder los complementos que ha creado.

Espero informes ...

Saludos a todos!

PD: Los videos de Youtube en caché de esta versión es completamente funcional!


Traduccion sangoogle y retocado x MirageIII
MirageIII
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor daniel.uramg » Qua Out 13, 2010 4:21 pm

Grande garoto, cache do Youtube 100%!!

So uma besateira que achei aqui, quando manda atualizar esta mostrando o nome da variavel no título, é que no /var/..../htdocs/SquidCacheAux.cgi, na linha 96 o ECHO vc chamou com ' em vez de "

Grande trabalho!
Abraços
Avatar do usuário
daniel.uramg
BFW Beneméritos
 
Mensagens: 1426
Registrado em: Qua Mai 20, 2009 4:42 pm
Localização: Taguatinga - DF
BrazilFW Box: Athlon XP 2400+ 1Gb RAM HD 20Gb
BFW 2.31.10+SP1, Squid, DNS Cache, EasyCaptive, MySAR, Apache, SCA, SqStat, EasyBackup. Bandwidth, Pure-FTP

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor Thiago » Qua Out 13, 2010 5:38 pm

\`´/ \`´/ \`´/ \`´/ \`´/ \`´/ \`´/ \`´/
Liga nao gente...to rindo aqui de uma bobeira...kkkk
Fala mestre...
Igual ja disse pra você : "Addon Funcionando 100%"
Meu povo vamos ter cuidado na hora de configurar o tamanho maximo do objeto no squid...rsrsr
Thiago
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor francisco » Qua Out 13, 2010 9:50 pm

pessoal ,não tive o mesmo sucesso de alguns relatos aqui ,fiz o processo para atualizar ,tentei instalar do zero e sempre acontece este erro no squid ao enviar recarregar ou parar retorna esta mensagem destas linha inseridas no squid conf. segue abaixo

Stopping Squid ... 2010/10/13 21:33:06| parse_refreshpattern: Unknown option 'imeem.*\.flv': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '\.rapidshare.*\/[0-9]*\/.*\/[^\/]*': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '(get_video\?|videoplayback\?|videodownload\?|\.flv?)': ignore-no-store
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '(get_video\?|videoplayback\?|videodownload\?|\.flv?)': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '(get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)': ignore-no-store
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '(get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '\.(ico|video-stats)': ignore-no-store
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '\.(ico|video-stats)': ignore-must-revalidate
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '\.(ico|video-stats)': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '\.etology\?': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option 'galleries\.video(\?|sz)': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option 'brazzers\?': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '\.adtology\?': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '^.*(utm\.gif|ads\?|rmxads\.com|ad\.z5x\.net|bh\.contextweb\.com|bstats\.adbrite\.com|a1\.interclick\.com|ad\.trafficmp\.com|ads\.cubics\.com|ad\.xtendmedia\.com|\.googlesyndication\.com|advertising\.com|yieldmanager|game-advertising\.com|pixel\.quantserve\.com|adperium\.com|doubleclick\.net|adserving\.cpxinteractive\.com|syndication\.com|media.fastclick.net).*': ignore-no-store
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '^.*(utm\.gif|ads\?|rmxads\.com|ad\.z5x\.net|bh\.contextweb\.com|bstats\.adbrite\.com|a1\.interclick\.com|ad\.trafficmp\.com|ads\.cubics\.com|ad\.xtendmedia\.com|\.googlesyndication\.com|advertising\.com|yieldmanager|game-advertising\.com|pixel\.quantserve\.com|adperium\.com|doubleclick\.net|adserving\.cpxinteractive\.com|syndication\.com|media.fastclick.net).*': ignore-must-revalidate
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '^.*(utm\.gif|ads\?|rmxads\.com|ad\.z5x\.net|bh\.contextweb\.com|bstats\.adbrite\.com|a1\.interclick\.com|ad\.trafficmp\.com|ads\.cubics\.com|ad\.xtendmedia\.com|\.googlesyndication\.com|advertising\.com|yieldmanager|game-advertising\.com|pixel\.quantserve\.com|adperium\.com|doubleclick\.net|adserving\.cpxinteractive\.com|syndication\.com|media.fastclick.net).*': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '^.*safebrowsing.*google': ignore-must-revalidate
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '^.*safebrowsing.*google': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '^http://((cbk|mt|khm|mlt)[0-9]?)\.google\.co(m|\.uk)': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option 'ytimg\.com.*\.jpg': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option 'images\.friendster\.com.*\.(png|gif)': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option 'garena\.com': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option 'photobucket.*\.(jp(e?g|e|2)|tiff?|bmp|gif|png)': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option 'vid\.akm\.dailymotion\.com.*\.on2\?': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option 'mediafire.com\/images.*\.(jp(e?g|e|2)|tiff?|bmp|gif|png)': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '^http:\/\/images|pics|thumbs[0-9]\.': ignore-no-store
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '^http:\/\/images|pics|thumbs[0-9]\.': store-stale
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '^http:\/\/www.onemanga.com.*\/': ignore-no-store
2010/10/13 21:33:06| parse_refreshpattern: Unknown option '^http:\/\/www.onemanga.com.*\/': store-stale
DONE
Cron will be restarted within the next minute
Flush all old rules or create the chain if it is the first time

a principio pensei que fosse por causa do arquivo de plug-ins ,mas testei com o arquivo original e da no mesmo.
francisco
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor Zaymms » Qui Out 14, 2010 9:44 am

Ao recarregar o Squid aconteceu o mesmo erro do amigo francisco

Código: Selecionar todos
Stopping Squid ... 2010/10/14 09:39:12| parse_refreshpattern: Unknown option 'imeem.*\.flv': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '\.rapidshare.*\/[0-9]*\/.*\/[^\/]*': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '(get_video\?|videoplayback\?|videodownload\?|\.flv?)': ignore-no-store
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '(get_video\?|videoplayback\?|videodownload\?|\.flv?)': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '(get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)': ignore-no-store
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '(get_video\?|videoplayback\?id|videoplayback.*id|videodownload\?|\.flv?)': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '\.(ico|video-stats)': ignore-no-store
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '\.(ico|video-stats)': ignore-must-revalidate
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '\.(ico|video-stats)': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '\.etology\?': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option 'galleries\.video(\?|sz)': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option 'brazzers\?': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '\.adtology\?': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '^.*(utm\.gif|ads\?|rmxads\.com|ad\.z5x\.net|bh\.contextweb\.com|bstats\.adbrite\.com|a1\.interclick\.com|ad\.trafficmp\.com|ads\.cubics\.com|ad\.xtendmedia\.com|\.googlesyndication\.com|advertising\.com|yieldmanager|game-advertising\.com|pixel\.quantserve\.com|adperium\.com|doubleclick\.net|adserving\.cpxinteractive\.com|syndication\.com|media.fastclick.net).*': ignore-no-store
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '^.*(utm\.gif|ads\?|rmxads\.com|ad\.z5x\.net|bh\.contextweb\.com|bstats\.adbrite\.com|a1\.interclick\.com|ad\.trafficmp\.com|ads\.cubics\.com|ad\.xtendmedia\.com|\.googlesyndication\.com|advertising\.com|yieldmanager|game-advertising\.com|pixel\.quantserve\.com|adperium\.com|doubleclick\.net|adserving\.cpxinteractive\.com|syndication\.com|media.fastclick.net).*': ignore-must-revalidate
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '^.*(utm\.gif|ads\?|rmxads\.com|ad\.z5x\.net|bh\.contextweb\.com|bstats\.adbrite\.com|a1\.interclick\.com|ad\.trafficmp\.com|ads\.cubics\.com|ad\.xtendmedia\.com|\.googlesyndication\.com|advertising\.com|yieldmanager|game-advertising\.com|pixel\.quantserve\.com|adperium\.com|doubleclick\.net|adserving\.cpxinteractive\.com|syndication\.com|media.fastclick.net).*': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '^.*safebrowsing.*google': ignore-must-revalidate
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '^.*safebrowsing.*google': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '^http://((cbk|mt|khm|mlt)[0-9]?)\.google\.co(m|\.uk)': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option 'ytimg\.com.*\.jpg': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option 'images\.friendster\.com.*\.(png|gif)': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option 'garena\.com': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option 'photobucket.*\.(jp(e?g|e|2)|tiff?|bmp|gif|png)': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option 'vid\.akm\.dailymotion\.com.*\.on2\?': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option 'mediafire.com\/images.*\.(jp(e?g|e|2)|tiff?|bmp|gif|png)': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '^http:\/\/images|pics|thumbs[0-9]\.': ignore-no-store
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '^http:\/\/images|pics|thumbs[0-9]\.': store-stale
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '^http:\/\/www.onemanga.com.*\/': ignore-no-store
2010/10/14 09:39:12| parse_refreshpattern: Unknown option '^http:\/\/www.onemanga.com.*\/': store-stale
DONE
Cron will be restarted within the next minute
Flush all old rules or create the chain if it is the first time
Configuring Squid ...
Check Disk Cache Partition ... Mount!
Cron will be restarted within the next minute
Check Cache Log Partition ... Mount!
Cron will be restarted within the next minute
Writing squid.conf file
Privileged users/IPs:
192.168.0.1
192.168.0.66
192.168.0.70
192.168.0.74
192.168.0.78
Squid running now!
Flush all old rules or create the chain if it is the first time
Configuring Transparent Proxy to Squid
Not forwarding the IP 192.168.0.62
Forwarding net 192.168.0.0/24


Verifiquei também que os processos do SCA também morreram.
O problema só acontece quando recarrega o Squid, fora isso, o BFW inicia normal e o add-on funciona PERFEITAMENTE, o problema é no reload do Squid.

Percebi também que a checagem diária do cache não fica salva no CRON ( /usr/local/bin/perl /etc/SquidCacheAux/check_store ).
Zaymms
 

Re: SquidCacheAux - Cache Auxiliar do Squid - Parte 4

Mensagempor M客¡NhØ §åMµ®å¡ » Qui Out 14, 2010 10:01 am

francisco e Zaymms,
Essas mensagens de erro são referentes a algumas configurações que eu mesmo acrescentei no SCA para teste (e já vi que não foram boas... :mrgreen: ).
Contudo, elas não representam ameaça para o funcionamento do Squid ou do SCA.
Zaymms escreveu:Verifiquei também que os processos do SCA também morreram.

Se o Squid está configurado com a criação automática do squid.conf habilitada, o squid.conf será recriado toda vez que o Squid for recarregado.
Então os processos do SCA morrem mesmo, porém, se o SCA estiver habilitado e se já foi executado, o SCAGuard irá verificar que as configurações do SCA não estão presentes no squid.conf e irá reinserí-las e reconfigurar o Squid de forma que o SCA fique em execução. Então nesta questão não precisamos nos preocupar.

De qualquer forma, está a caminho mais uma atualização para remover essas mensagens de erro ao recarregar o Squid e também para corrigir o título da tela de atualização (relatado pelo daniel.uramg... Obrigado brother! :o! )

É isso aí, pessoal...

Abraço à todos! :o!
Utilize a busca do fórum! Ela é sua amiga!
Não dou suporte via MP ou MSN para ninguém. Por favor, não insista. (Para que existe o fórum?)
É novo aqui? É "antigo" e mesmo assim está perdido?
Então leia:
Avatar do usuário
M客¡NhØ §åMµ®å¡
BFW Developer
BFW WebServer
BFW Beneméritos
BFW Add-on Developer
BFW Moderator
BFW Manager
 
Mensagens: 4111
Registrado em: Qua Abr 08, 2009 11:06 am
Localização: Rio de Janeiro
BrazilFW Box: Máquina Física
CPU: AMD Athlon(tm) II X2 215 Processor
Memória: 1 GiB / Link 50 MB
BFW 3.0.262 64 bits.
Serviços Ativos: DNS, DHCP
Addons: Samba, Pure-FTPd (no certified), BFW WebServer (no certified)

Próximo

Voltar para Add-On Factory

Quem está online

Usuários navegando neste fórum: Nenhum usuário registrado e 6 visitantes

cron