Page 1 sur 1

[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 14:44
par dsebire
Hello,

je viens de mettre en place un squid au taf pour limiter l'utilisation de la BP.
le but n'est pas de le mettre en place pour le WEB, mais pour les mises a jour debian (je commence a avoir un paquet de machine linux, et yan a une petite dixaine d'autres qui vont arriver)
ça semble fonctionner partiellement:
1394544350.018 0 192.168.1.60 TCP_MEM_HIT/200 483 GET http://images.mesdiscussions.net/eco/icones/redface.gif - NONE/- image/gif
1394544350.158 0 192.168.1.60 TCP_MEM_HIT/200 13667 GET http://images.mesdiscussions.net/eco/im ... fievel.jpg - NONE/- image/jpeg
1394544350.177 0 192.168.1.60 TCP_MEM_HIT/200 482 GET http://images.mesdiscussions.net/eco/icones/wink.gif - NONE/- image/gif
1394544350.177 0 192.168.1.60 TCP_MEM_HIT/200 522 GET http://images.mesdiscussions.net/eco/icones/ohwell.gif - NONE/- image/gif
1394544350.178 0 192.168.1.60 TCP_MEM_HIT/200 793 GET http://images.mesdiscussions.net/eco/ic ... s/ange.gif - NONE/- image/gif
1394544350.182 0 192.168.1.60 TCP_MEM_HIT/200 4022 GET http://images.mesdiscussions.net/eco/im ... ulpito.jpg - NONE/- image/jpeg
1394544350.183 0 192.168.1.60 TCP_MEM_HIT/200 508 GET http://images.mesdiscussions.net/eco/ic ... /sweat.gif - NONE/- image/gif
1394544350.202 0 192.168.1.60 TCP_MEM_HIT/200 2081 GET http://images.mesdiscussions.net/eco/th ... pondre.gif - NONE/-
image/gif
1394544621.817 17 192.168.1.241 TCP_REFRESH_UNMODIFIED/304 301 GET http://ftp.fr.debian.org/debian/dists/w ... elease.gpg - DIRECT/212.27.32.66 -
1394544621.836 15 192.168.1.241 TCP_REFRESH_UNMODIFIED/304 301 GET http://ftp.fr.debian.org/debian/dists/w ... elease.gpg - DIRECT/212.27.32.66 -
1394544621.854 15 192.168.1.241 TCP_MISS/304 297 GET http://ftp.fr.debian.org/debian/dists/wheezy/Release - DIRECT/212.27.32.66 -
1394544621.882 16 192.168.1.241 TCP_REFRESH_UNMODIFIED/304 303 GET http://ftp.fr.debian.org/debian/dists/w ... es/Release - DIRECT/212.27.32.66 -
1394544621.903 16 192.168.1.241 TCP_MISS/304 298 GET http://ftp.fr.debian.org/debian/dists/w ... ources.bz2 - DIRECT/212.27.32.66 -
1394544621.920 16 192.168.1.241 TCP_MISS/304 298 GET http://ftp.fr.debian.org/debian/dists/w ... ckages.bz2 - DIRECT/212.27.32.66 -
1394544621.939 16 192.168.1.241 TCP_MISS/304 297 GET http://ftp.fr.debian.org/debian/dists/w ... ion-fr.bz2 - DIRECT/212.27.32.66 -
1394544621.956 15 192.168.1.241 TCP_MISS/304 298 GET http://ftp.fr.debian.org/debian/dists/w ... ion-en.bz2 - DIRECT/212.27.32.66 -
1394544621.973 15 192.168.1.241 TCP_REFRESH_UNMODIFIED/304 301 GET http://ftp.fr.debian.org/debian/dists/w ... ources.bz2 - DIRECT/212.27.32.66 -
1394544621.991 16 192.168.1.241 TCP_MISS/304 295 GET http://ftp.fr.debian.org/debian/dists/w ... diff/Index - DIRECT/212.27.32.66 -
1394544622.009 17 192.168.1.241 TCP_MISS/304 295 GET http://ftp.fr.debian.org/debian/dists/w ... diff/Index - DIRECT/212.27.32.66 -
1394544622.262 465 192.168.1.241 TCP_REFRESH_UNMODIFIED/304 350 GET http://security.debian.org/dists/wheezy ... elease.gpg - DIRECT/128.101.240.212 -
1394544622.483 216 192.168.1.241 TCP_REFRESH_UNMODIFIED/304 352 GET http://security.debian.org/dists/wheezy/updates/Release - DIRECT/128.101.240.212 -
1394544622.715 219 192.168.1.241 TCP_REFRESH_UNMODIFIED/304 352 GET http://security.debian.org/dists/wheezy ... ources.bz2 - DIRECT/128.101.240.212 -
1394544622.924 205 192.168.1.241 TCP_REFRESH_UNMODIFIED/304 352 GET http://security.debian.org/dists/wheezy ... ckages.bz2 - DIRECT/128.101.240.212 -
1394544623.145 221 192.168.1.241 TCP_REFRESH_UNMODIFIED/304 352 GET http://security.debian.org/dists/wheezy ... ion-en.bz2 - DIRECT/128.101.240.212 -
comme vous le voyez, j'ai 2 machines qui passent par le proxy (IP 192.168.1.60 et 192.168.1.241)
sur la machine 192.168.1.60, je fais de la navigation web (sur le FORUM comme vous pouvez le constater), la 192.168.1.241 est une machine linux sur laquelle j'ai fait un apt-get update

autant la navigation web a bien été recupérée du cache, autant l'update patitude est passé a travers !
je precise quand meme que j'ai bien fait 2 update a la suite l'un de l'autre puisque faut bien remplir le cache a un moement.
d'ailleurs, au premier passage ce sont des TCP_MISS qui apparaissent, alors que la j'ai du TCP_MISS et du TCP_REFRESH_UNMODIFIED, ce qui je pense signifie que il a quand meme verifié quelquechose dans le cache.
mais il les telecharge du net quand meme :/ (DIRECT en fin de ligne du code)
j'ai testé avec un fichier a 2 balles (http://proof.ovh.net/files/100Mio.dat), il le retelecharge a chaque fois.

la conf:
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl localnet src 192.168.0.0/16 # RFC1918 possible internal network
acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow localnet
http_access deny all
http_port 3128
cache_mem 256 MB
cache_replacement_policy heap LFUDA
cache_dir ufs /var/squid_cache 1276786 16 256
maximum_object_size 200 MB
cache_store_log /var/log/squid3/store.log
coredump_dir /var/spool/squid3
cache allow all
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
refresh_pattern . 0 20% 4320
refresh_pattern Packages\.bz2$ 0 20% 4320 refresh-ims
refresh_pattern Sources\.bz2$ 0 20% 4320 refresh-ims
refresh_pattern Release\.gpg$ 0 20% 4320 refresh-ims
refresh_pattern Release$ 0 20% 4320 refresh-ims
visible_hostname proxy.mydomain.local
j'ai repris la conf de base que ne fait que proxy (et pas cache) et ait modifié en focntion des divers tuto trouvés sur le net

vous auriez une idée ?

merci :jap:

[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 14:50
par dsebire
ah oui, j'ai regardé le store.log, ya bien des choses qui passent quand meme:
1394543061.934 RELEASE -1 FFFFFFFF FD2E460615834EDCDFBB739209A114F4 304 1394543056 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... elease.gpg
1394543061.939 RELEASE -1 FFFFFFFF ABC54DAFDDE952638DD8733417DCD98F 304 1394543056 -1 1394543057 unknown -1/0 GET http://security.debian.org/dists/wheezy ... elease.gpg
1394543061.958 RELEASE 00 00000067 9723B527AD2C00D341AB3C7A0D5061AF 200 1394528057 1394506597 -1 text/plain 836/836 GET http://ftp.fr.debian.org/debian/dists/w ... elease.gpg
1394543061.958 SWAPOUT 00 00000062 76134A88151F5E530561F40654E9F927 200 1394543056 1394528052 -1 text/plain 836/836 GET http://ftp.fr.debian.org/debian/dists/w ... elease.gpg
1394543061.974 RELEASE -1 FFFFFFFF 04B1A392AA18809713BD51C9467CC294 304 1394543056 -1 1394543057 unknown -1/0 GET http://security.debian.org/dists/wheezy/updates/Release
1394543062.003 RELEASE -1 FFFFFFFF E68C7E6E438C3253054EC18DF6542052 304 1394543056 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/wheezy/Release
1394543062.019 RELEASE -1 FFFFFFFF 65A96B8BACAB851103B1430D890DF998 304 1394543056 -1 1394543057 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ources.bz2
1394543062.026 RELEASE 00 00000069 52FF54723CDF01DF18598153049CD6DE 200 1394528057 1394506597 -1 text/plain 123683/123683 GET http://ftp.fr.debian.org/debian/dists/w ... es/Release
1394543062.073 RELEASE -1 FFFFFFFF F35FB4AB62CFD72A57F0E9C9D6403406 304 1394543056 -1 1394543057 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ckages.bz2
1394543062.171 RELEASE -1 FFFFFFFF F6EA6F6A10A048D3D349F5089028C8B4 304 1394543056 -1 1394543057 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ion-en.bz2
1394543062.265 SWAPOUT 00 00000063 BAC1CF30E779996890315A1862A36EF3 200 1394543056 1394528051 -1 text/plain 123683/123683 GET http://ftp.fr.debian.org/debian/dists/w ... es/Release
1394543062.287 RELEASE -1 FFFFFFFF 4E22456B5CD48A3D984B8FC1BC4FA9DC 304 1394543056 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ources.bz2
1394543062.317 RELEASE -1 FFFFFFFF FF6010A8126FC6F89EBD6D0394B950F2 304 1394543056 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ckages.bz2
1394543062.336 RELEASE -1 FFFFFFFF E7E8F15929CC209C489CEC523E7E9EED 304 1394543056 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ion-fr.bz2
1394543062.355 RELEASE -1 FFFFFFFF 999761476308C73A8C7938B70A7C0A68 304 1394543056 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ion-en.bz2
1394543062.374 RELEASE 00 0000006C B3E8EC0479B040240F40CDD30B739711 200 1394528058 1394503458 -1 application/x-bzip2 3399/3399 GET http://ftp.fr.debian.org/debian/dists/w ... ources.bz2
1394543062.378 SWAPOUT 00 00000064 A16CDAA97F343AB924C213AC07F83B2A 200 1394543056 1394525031 -1 application/x-bzip2 3399/3399 GET http://ftp.fr.debian.org/debian/dists/w ... ources.bz2
1394543062.396 RELEASE -1 FFFFFFFF 0E9BAE12C4070094A6DAE00E8B444844 304 1394543056 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... diff/Index
1394543062.416 RELEASE -1 FFFFFFFF 5EFD49E2531DBB61B15F37E4F0D06D0B 304 1394543056 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... diff/Index
1394543287.910 RELEASE -1 FFFFFFFF 32AABF6FE748A7873BC74F12102FA01C 304 1394543282 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... elease.gpg
1394543287.933 RELEASE -1 FFFFFFFF A7C755505FF784928C888B802CAC7593 304 1394543282 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... elease.gpg
1394543287.955 RELEASE -1 FFFFFFFF 2084A87896D2D4302CF3951D7F534F8F 304 1394543282 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/wheezy/Release
1394543287.968 RELEASE -1 FFFFFFFF E8C8A5988464C6EB322585810095737E 304 1394543282 -1 1394543283 unknown -1/0 GET http://security.debian.org/dists/wheezy ... elease.gpg
1394543287.981 RELEASE -1 FFFFFFFF 9D00050EFF4B3848D8DBB182BD1A6B0D 304 1394543282 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... es/Release
1394543288.002 RELEASE -1 FFFFFFFF D1EB5FA669B649C12D2BDD9669BFE90F 304 1394543282 -1 1394543283 unknown -1/0 GET http://security.debian.org/dists/wheezy/updates/Release
1394543288.007 RELEASE -1 FFFFFFFF 58E0C1CF032A529E9D606B4D51D298D8 304 1394543282 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ources.bz2
1394543288.025 RELEASE -1 FFFFFFFF 15238C83A16AD1679AB66813A8763D8C 304 1394543282 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ckages.bz2
1394543288.042 RELEASE -1 FFFFFFFF 4FEEF97A5139A84C7FA41185F731A5E7 304 1394543282 -1 1394543283 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ources.bz2
1394543288.043 RELEASE -1 FFFFFFFF D297921BDFD8B2EDBF9969A00B385EF1 304 1394543282 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ion-fr.bz2
1394543288.061 RELEASE -1 FFFFFFFF AE68478C58B8BFA4261E0201EA4C985F 304 1394543282 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ion-en.bz2
1394543288.076 RELEASE -1 FFFFFFFF 25F90AEBD7C9E86028AF67D5975C1E9B 304 1394543282 -1 1394543283 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ckages.bz2
1394543288.078 RELEASE -1 FFFFFFFF 9E5CB30DEA9F317F5EDFC9095AF95EB8 304 1394543282 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ources.bz2
1394543288.097 RELEASE -1 FFFFFFFF 2EA983B32E765558A3B4503B5FC5140A 304 1394543282 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... diff/Index
1394543288.109 RELEASE -1 FFFFFFFF 966271DD5B36E196EAE00131D8BE0591 304 1394543282 -1 1394543283 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ion-en.bz2
1394543288.114 RELEASE -1 FFFFFFFF 2DF27B89036C5F7C15A2D055F9B738A9 304 1394543282 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... diff/Index
1394543309.976 RELEASE -1 FFFFFFFF 63C8FCA093B9CCB6183CB4DB0BDFFAAF 304 1394543304 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... elease.gpg
1394543309.996 RELEASE -1 FFFFFFFF E5FD9FE47DCB4BEEF0B4400346920489 304 1394543304 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... elease.gpg
1394543310.015 RELEASE -1 FFFFFFFF 37731214032E3F7D0F2A9955A6B1EEF9 304 1394543304 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/wheezy/Release
1394543310.019 RELEASE -1 FFFFFFFF 5EF80686D402D0C41B0B9169F6DB0DF1 304 1394543304 -1 1394543305 unknown -1/0 GET http://security.debian.org/dists/wheezy ... elease.gpg
1394543310.043 RELEASE -1 FFFFFFFF 963714A464E92167E32B6B0377FAFDBD 304 1394543304 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... es/Release
1394543310.061 RELEASE -1 FFFFFFFF CC01BDFFFBF4416C5CBEBA09B23AB297 304 1394543304 -1 1394543305 unknown -1/0 GET http://security.debian.org/dists/wheezy/updates/Release
1394543310.061 RELEASE -1 FFFFFFFF 43258D6C8C81A0F3D96608D3C2AB438F 304 1394543304 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ources.bz2
1394543310.078 RELEASE -1 FFFFFFFF C5BA95659AC5E06750CBEAFFE1C27A42 304 1394543304 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ckages.bz2
1394543310.095 RELEASE -1 FFFFFFFF F34B0019A02C1FD27079083CB0213E12 304 1394543304 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ion-fr.bz2
1394543310.104 RELEASE -1 FFFFFFFF CC6DF6A2F7632C5AB5F4968398E14A17 304 1394543304 -1 1394543305 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ources.bz2
1394543310.114 RELEASE -1 FFFFFFFF FA9F38143FC706C7021F6F803D6A7E56 304 1394543304 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ion-en.bz2
1394543310.131 RELEASE -1 FFFFFFFF 39902EACED5A7265C1076FDEB2CD77CF 304 1394543304 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ources.bz2
1394543310.138 RELEASE -1 FFFFFFFF D29D80354163F034160F52CCD6F7F9C1 304 1394543304 -1 1394543305 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ckages.bz2
1394543310.148 RELEASE -1 FFFFFFFF 18FC4B4A5B0BBB5FD1BB8AB3C2F19760 304 1394543304 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... diff/Index
1394543310.167 RELEASE -1 FFFFFFFF EBC69623636C018D8D79538D060201D6 304 1394543304 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... diff/Index
1394543310.171 RELEASE -1 FFFFFFFF 8702E754A22F0760DE94D9EB26B9BB3D 304 1394543304 -1 1394543305 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ion-en.bz2
1394544621.817 RELEASE -1 FFFFFFFF 2E0460C081C70F94EDAF11A2D987F49F 304 1394544616 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... elease.gpg
1394544621.836 RELEASE -1 FFFFFFFF 724C96379D8C3CA5C5C3798CAD06DB68 304 1394544616 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... elease.gpg
1394544621.854 RELEASE -1 FFFFFFFF 22F3ACD77889DAC3F67AB7DFAB2497A7 304 1394544616 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/wheezy/Release
1394544621.882 RELEASE -1 FFFFFFFF 2EAF12CEF29D79B36B91805197A48F37 304 1394544616 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... es/Release
1394544621.903 RELEASE -1 FFFFFFFF 91E2E02EB62B011475230C9E82BAF037 304 1394544616 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ources.bz2
1394544621.920 RELEASE -1 FFFFFFFF A42DE4FCE14DEAB996E0A8429C67DA3F 304 1394544616 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ckages.bz2
1394544621.939 RELEASE -1 FFFFFFFF 9E9286A72A021A468848421685CA11B6 304 1394544616 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ion-fr.bz2
1394544621.956 RELEASE -1 FFFFFFFF 3979369178ECEB2D433DEFE2EC3D09F4 304 1394544616 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ion-en.bz2
1394544621.973 RELEASE -1 FFFFFFFF 64D65BABDE0C5AF96A04A33F50AAF273 304 1394544616 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... ources.bz2
1394544621.991 RELEASE -1 FFFFFFFF B6E978852EE4166B6CB938B8BC9E5241 304 1394544616 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... diff/Index
1394544622.009 RELEASE -1 FFFFFFFF B3617A2A67BB5D701BBDA692B532E1CE 304 1394544616 -1 -1 unknown -1/0 GET http://ftp.fr.debian.org/debian/dists/w ... diff/Index
1394544622.262 RELEASE -1 FFFFFFFF 76B7E8A99B4008CEEBE37EB6702B379B 304 1394544616 -1 1394544617 unknown -1/0 GET http://security.debian.org/dists/wheezy ... elease.gpg
1394544622.483 RELEASE -1 FFFFFFFF 06B8912E7EC70F00CA5BDF5017799D22 304 1394544616 -1 1394544617 unknown -1/0 GET http://security.debian.org/dists/wheezy/updates/Release
1394544622.715 RELEASE -1 FFFFFFFF 9535BC0D588BF09F1787AC9034EB7B02 304 1394544617 -1 1394544618 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ources.bz2
1394544622.924 RELEASE -1 FFFFFFFF 095D4625031EFC74854A02E9DEDBC358 304 1394544617 -1 1394544618 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ckages.bz2
1394544623.145 RELEASE -1 FFFFFFFF 6249C1CBD0E0FB58A859F062D9D0B63E 304 1394544617 -1 1394544618 unknown -1/0 GET http://security.debian.org/dists/wheezy ... ion-en.bz2
1394545651.436 RELEASE -1 FFFFFFFF 668F6EFB4C535B228228D031D911B2E6 200 1394545729 -1 -1 text/html 43251/43251 GET http://itkia.com/using-squid-to-cache-a ... nd-ubuntu/

[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 14:55
par gizmo78
pour apt, t'as apt-cacher qui fonctionne bien.


[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 14:59
par poulpito
autant avoir un dépot sur son réseau ^^ moi c'est ce que j'ai plus de soucis apt-cacher c'est un truc en plus à mi-chemin entre un cache et un depot

[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 15:04
par dsebire
je crois que j'ai trouvé:
1394546334.465 114 192.168.1.241 TCP_MISS/200 35323 GET http://ftp.fr.debian.org/debian/pool/ma ... _amd64.deb - DIRECT/212.27.32.66 application/x-debian-package
1394546375.102 1 192.168.1.241 TCP_MEM_HIT/200 35330 GET http://ftp.fr.debian.org/debian/pool/ma ... _amd64.deb - NONE/- application/x-debian-package
(entre temps j'ai supprimé le package, vidé le cache de la machine et reinstallé, c'est passé a partir du cache cette fois)

par contre, ça ne resoud rien pour apt-get update.

en fait, les "refresh_pattern" sont traités dans l'ordre, et la premiere ligne qui match est prise en compte
il faut donc que "refresh_pattern . 0 20% 4320" soit la derniere !

je crois que je vais rester comme ça, c'est pas les 5mo pour telecharger la liste des paquets qui vont tuer ma connexion ADSL :D

[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 15:05
par dsebire
autant avoir un dépot sur son réseau ^^ moi c'est ce que j'ai plus de soucis apt-cacher c'est un truc en plus à mi-chemin entre un cache et un depot
euh.... non, pas de depot, j'y ai pensé, mais ça veut dire bcp de stockage et tout synchroniser, ça va prendre un temps monumental et rendre la connex inutilisable tout le temps que ça durera !

[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 15:07
par dsebire
pour apt, t'as apt-cacher qui fonctionne bien.
l'idee c'est quand meme d'avoir un proxy-cache, vu qu'il est pas exclus que dans un avnir assez proche, certains postes passent dessus avec des restrictions (ya eu de gros abus reçamment)

[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 15:08
par poulpito
ca dépend le nombre de trucs que tu synchro
qu'une archi 64 (pas de 32) sur une seule distrib (debian par ex)

ca prend pas énorme :) je regarderai ma taille utilisée à la maison


[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 15:14
par dsebire
j'ai regardé, pour installer mes machines j'ai moins de 1Go de package a downloader.
PS: je pars sur une install par reseau PXE (http://ftp.nl.debian.org/debian/dists/w ... ler/amd64/), donc ou tout est a télécharger (je n'utilise pas de truc genre netinstall ou DVD avec distrib minimaliste)

[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 15:26
par poulpito
ok :) moi je déploie par netinstall et donc le dépôt prend tout son sens ;)

[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 15:44
par dsebire
en effet !
mais j'en ai ma claque des lecteurs qui marchent pas donc un coup de F12 a l'allumage de la machine et ça demarre en 30secondes.

[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 15:49
par Zedoune
Je te conseille le proxy "polipo", par contre, si tu veux faire de la restriction par utilisateurs, ça se complique un petit peu. Il est plus simple, plus léger, mais moins customisable.

Le mieux serait apt-cacher pour le cache des paquets (super simple à mettre en place, et t'es sûr que ça fait bien le boulot), et un cache pour les utilisateurs ?

[squid] ne cache pas tout ?

Publié : mar. 11 mars 2014 17:30
par dsebire
comme dit au dessus, apt-cacher est dedié aux paquets aptitude.
meme si actuellement je ne m'en sers pas, j'ai besoin d'un proxy pour tout.
pas de restriction specifiques utilisateur, tout le monde dans le meme sac (les memes pour tous donc)
yaura juste quelques postes en connection direct (ouvert sur firewall)

j'ai fais ma feignasse (comme d'hab) j'ai pris le plus connu :D

[squid] ne cache pas tout ?

Publié : mer. 12 mars 2014 01:06
par flash91
Le problème d'utiliser un proxy (HTTP la base) c'est que la conf du cache au niveau dimensionnement n'est pas du tout prévue pour.
En conf par défaut le proxy ne pourra pas stocker les objets car trop gros -> useless
Ou alors il va passer son temps à remplacer par les dernier paquet téléchargé => useless
Si en plus tu veux le mutualiser avec les accès web utilisateurs, je te laisse imaginer le temps de check du cache en cas de plantage ...
Et même si tu augmente la taille du cache, au final il te faudra autant d'espace disque qu'un vrai miroir.

J'ai retrouvé une cron pour debmirror qui fonctionnait assez bien :

0 5 * * * debmirror --progress --verbose --host=ftp.fr.debian.org --method=http --passive --dist=squeeze --arch=amd64 --nosource --i18n --diff=mirror --exclude-deb-section='cli-mono|debug|electronics|embedded|games|gnome|gnustep|hamradio|kde|news|video|xfce|zope' --exclude='openoffice|asterisk' --section=main,contrib,non-free /data1/repository/squeeze
0 6 * * * debmirror --progress --verbose --host=security.debian.org --method=http --passive -root=debian-security --dist=squeeze/updates --arch=amd64 --nosource --i18n --diff=mirror --exclude-deb-section='cli-mono|debug|electronics|embedded|games|gnome|gnustep|hamradio|kde|news|video|xfce|zope' --exclude='openoffice|asterisk' --section=main,contrib,non-free /data1/repository/squeeze-security
0 7 * * * debmirror --progress --verbose --host=backports.debian.org --method=http --passive --root=debian-backports --dist=squeeze-backports --arch=amd64 --nosource --i18n --diff=none --exclude-deb-section='cli-mono|debug|electronics|embedded|games|gnome|gnustep|hamradio|kde|news|video|xfce|zope' --exclude='openoffice|asterisk' --section=main /data1/repository/squeeze-backports

Faut juste actualiser le nom de la release que tu veux et éventuellement ajouter/supprimer catégories de paquets, là c'était prévu pour des serveurs de prod en conf minimale.

[squid] ne cache pas tout ?

Publié : mer. 12 mars 2014 01:10
par flash91
J'oubliais : ensuite il te reste plus qu'à publier les rep via apache/nginx/...


ServerAdmin webmaster@localhost
ServerName

DocumentRoot /var/www

Alias /squeeze "/data1/repository/squeeze"
Alias /squeeze-security "/data1/repository/squeeze-security"
Alias /squeeze-backports "/data1/repository/squeeze-backports"

Options Indexes
AllowOverride None
Order allow,deny
allow from all


ErrorLog ${APACHE_LOG_DIR}/error.log
LogLevel warn
CustomLog ${APACHE_LOG_DIR}/access.log combined


Et à faire pointer tes sources.list sur

Tu lances la synchro avant de partir le soir, si tu as un débit correct le dépot est prêt le lendemain matin.

[squid] ne cache pas tout ?

Publié : mer. 12 mars 2014 09:35
par dsebire
Le problème d'utiliser un proxy (HTTP la base) c'est que la conf du cache au niveau dimensionnement n'est pas du tout prévue pour.
1/En conf par défaut le proxy ne pourra pas stocker les objets car trop gros -> useless
2/Ou alors il va passer son temps à remplacer par les dernier paquet téléchargé => useless
3/Si en plus tu veux le mutualiser avec les accès web utilisateurs, je te laisse imaginer le temps de check du cache en cas de plantage ...
4/Et même si tu augmente la taille du cache, au final il te faudra autant d'espace disque qu'un vrai miroir.
Bonjour,

1/ conf par defaut modifiée. j'ai mis 200Mo comme taille max contre 10 je crois de base. largement suffisant pour les package debian
2/ c'est le but
3/ c'est pas un problème: seulement certaines machines "publiques" seront sur le proxy, m'en fout si les perfs sont minables
4/ 13Go de cache alloué, sur disque dédié, je verrais ce que ça donne. je rappelle que c'est pas seulement un mirroir que je veux !!!!

[squid] ne cache pas tout ?

Publié : mer. 12 mars 2014 09:51
par Zedoune
T'es resté sous Squid ? :P

Je te conseille vraiment de passer à Polipo ! :D

[squid] ne cache pas tout ?

Publié : mer. 12 mars 2014 10:20
par dsebire
trop tard, c'est en place.
ça marche, je laisse en l'etat.
si j'ai trop de soucis a l'utilisation, je changerais.

[squid] ne cache pas tout ?

Publié : ven. 21 mars 2014 12:18
par dsebire
ça marche du tonnere !

j'ai installé une machine hier, RAS.
une autre ce matin, j'ai mis nettement moins de temps !!!
j'ai regardé les logs squid, tout a été pris dans le cache du proxy.

suis content :D

[squid] ne cache pas tout ?

Publié : ven. 21 mars 2014 12:20
par kalistyan
:d