Skip to content

Blog Net-Expression

Four-tout informatique !

Archive

Category: Administration

Installer les paquets pré-requis

A partir de la version Sid, Node.js fait partie des paquets supportés officiellement, vous pouvez donc installer directement le paquet voulu en exécutant la commande suivante :

# aptitude install nodejs

Si vous avez une version stable de la distribution Debian, Node.js n’est pas encore dans le dépôt officiel. Il faut donc télécharger les sources et le compiler


# aptitude update
# aptitude install git-core curl build-essential openssl libssl-dev

Télécharger les sources à partir du dépôt GIT


git clone https://github.com/joyent/node.git
cd node

Choisir la version voulue

Si vous ne connaissez pas la dernière version stable, vous pouvez aller faire un tour sur la page de chargement du site officiel qui indique “current version” actuellement la v0.10.28 stable.
Il est possible d’utiliser la commande git tag pour lister les versions existantes.


# git checkout v0.10.28

Compiler


# make
# make install

Tester

Pour vérifier que node.js et NPM sont correctemment installés et prets à fonctionner, vous pouvez taper les commandes suivantes :


$ node -v
$ npm -v

Installer une librairie node.js

Vous pourriez avoir besoin d’installer une librairie supplémentaire comme socket.io

$ npm install socket.io

Attention la commande précédente installera la librairie uniquement dans le répertoire courant.

Si vous souhaitez installer cette librairie de facon globale, il faudra utiliser l’option g avec les droit administrateur.


# npm install -g socket.io

Shutter

Pour des besoins personnels, je cherchais un logiciel qui permette de prendre des captures écran de n’importe quelle page d’un site internet en ligne de commande…

Après quelques recherches je suis tombé sur un premier logiciel Shutter, mais ça nécessitait d’installer un peu moins d’une centaine de MB… (je n’installe que le strict minimum en général sur mes serveurs, et je n’ai donc pas d’interface graphique).
A noter que Shutter propose aussi d’autres fonctionnalité pour enrichir le screenshot : dessins de flèches, de bulles, etc…

Webkit2png

J’ai continué mes recherches et je suis tombé sur webkit2png qui semble être un script python. Au départ, je n’ai pas poussé plus mes investigations car je pensais que c’était un programme uniquement disponible sur OSX et qu’il n’est pas disponible en tant que dépôt officiel Ubuntu / Debian.
Par contre si il vous vient l’envie d’essayer, je vous propose d’utiliser ce Installer python-webkit2png.

CutyCapt

Mon choix s’est alors arrêté sur le 3ème que j’ai trouvé, et il semble réaliser plutôt bien son travail.
Personnellement je n’ai du installer que 22 + 15 MB. sur un serveur Debian presque “nu”.

L’installation est rapide et simple:

# aptitude install cutycapt

Si vous n’avez pas de serveur X, vous devait installer le minimum (ce sont les 15 MB. supplémentaires) :

# aptitude install xvfb

L’utiliser n’est pas plus compliqué (on lui demande de prendre un screenshot de la page d’accueil de Google en emulant un écran de 1024 sur 768 avec une profondeur de couleur de 24bits) :

$ xvfb-run --server-args="-screen 0, 1024x768x24" cutycapt --url=http://www.google.fr --out=www.google.fr.png

Et ca donne ca :

Le standard “MBR” anciennement utilisé pour partionner un disque limite la taille des partitions à 2.2 To. Pour outrepasser cette limite, il est nécessaire d’utiliser un nouveau standard (GPT).

Parted : un outils de partitionnement MBR et GPT sous Linux :

L’outils Fdisk utilisé pour partionner son disque sous Linux ne gère pas le standard GPT, et il n’est donc plus possible de l’utiliser pour créer des partitions excédent les 2To…

Pour le remplacer, je vous propose d’utiliser Parted, un autre outils permettant de partitioner son disque dans le format MBR ou GPT selon votre choix (Parted propose aussi une version graphique Gparted).

Partionner et formater une partition de plus de 2 To sous Linux

Attention en suivant ces commandes, vous perdrez toutes vos partitions existantes, ainsi que tout ce qu’elles contiennent. Ne faites pas ces manipulations si vous ne savez pas ce que vous faites ou que vous n’êtes pas sûr de vous sans avoir fait une sauvegarde complète de votre disque !

Partitionner votre disque dur sous Linux

Après avoir lancé la commande “Parted”, il faut sélectionner le device (disque; ici /dev/sda) que vous souhaitez partionner. Ensuite, nous spécifions que la table de partition sera décrite via le standard GPT. Enfin, nous créons une seule et unique partition qui couvrera ici la totalité du disque dur (0 à 100% de l’espace). Mais vous pouriez en décrire d’autres…

# parted
> select /dev/sda
> mklabel gpt
> mkpart primary 0% 100%
> quit

Formater une partition sous Linux

Dans le premier paragraphe, nous avons vu comment partionner notre disque dur. C’est à dire comment répartir les partitions au sein disque dur en lui donnant un début et une fin. Pour commencer à entreposer des données dans une partition, il faut définir son format. C’est à dire comment serront organisées les données au sein de celle-ci.

Vous pouvez par exemple formater votre nouvelle partition en ext4 en faisant comme suit :


# mkfs.ext4 /dev/sda

Monter et accéder à une partition sous Linux

Sous Windows chaque device prend une lettre telle que “C:” ou “A” historiquement pour les disquettes… Sous Linux, il n’y a pas de lettre pour référencer un périphérique d’entrées / sorties, et il est donc possible de le monter n’importe ou dans l’arborescence du système de fichiers.

L’usage veut que l’on monte communément un disque dur dans le répertoire /mnt; nous allons donc faire démarrer l’arborescence de notre partition en /mnt/sda1/ (1 pour la première partition du device /dev/sda). /mnt/sda1/ représentera alors la racine de notre nouvelle partition.

Une partition peut être monter dans le système de fichiers via la commande mount en précisant son type comme suit :

# mkdir /mnt/sda1
# mount -t ext4 /dev/sda1 /mnt/sda1

A ce stade vous pouvez utiliser les fichiers contenus dans votre nouvelle partition : les lister, les lire, en écrire, ou en supprimer… Par exemple :

# dir /mnt/sda1/

Si vous n’avez plus besoin de cette partition, vous pouvez la demonter avec la commande suivante :

# umount /dev/sda1

Monter une partition de facon permanente

En vous arretant à ce stade, la prochaine fois que vous redémarerez votre ordinateur, vous devrez de nouveau remonter la partition que vous venez de monter pour pouvoir vous en servir…

Les partions à monter automatiquement au démarrage du système sont décrites dans le fichier /etc/fstab. Ajouter donc simplement la ligne suivante en fin de fichier pour automatiser le montage de votre partition :

/dev/sda1 /mnt/sda1 ext4 defaults 0 2

Il est parfois utile d’accéder à un disque dur de manière physique (mode Raw) plutot que dans un contexte virtualisé. Par exemple pour pouvoir prendre un disque utilisé par des machines virtuelles, et le mettre directement dans un autre serveur qui ne sait pas lire les disques virtuels de VMware…

Lister les disques reconnus par ESXi

Dans un premier temps nous listerons les disques physiques reconnus par notre serveur ESXi


# esxcfg-mpath -l
sata.vmhba32-sata.0:0-t10.ATA_____WDC_WD30EZRX2D00MMMB0_________________________WD2DWCAWZ2847281
Runtime Name: vmhba32:C0:T0:L0
Device: t10.ATA_____WDC_WD30EZRX2D00MMMB0_________________________WD2DWCAWZ2847281
Device Display Name: Local ATA Disk (t10.ATA_____WDC_WD30EZRX2D00MMMB0_________________________WD2DWCAWZ2847281)
Adapter: vmhba32 Channel: 0 Target: 0 LUN: 0
Adapter Identifier: sata.vmhba32
Target Identifier: sata.0:0
Plugin: NMP
State: active
Transport: sata

sata.vmhba0-sata.0:0-t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH
Runtime Name: vmhba0:C0:T0:L0
Device: t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH
Device Display Name: Local ATA Disk (t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH)
Adapter: vmhba0 Channel: 0 Target: 0 LUN: 0
Adapter Identifier: sata.vmhba0
Target Identifier: sata.0:0
Plugin: NMP
State: active
Transport: sata

ou

# ls /dev/disks/ -l
-rw------- 1 root root 60022480896 Oct 13 18:13 t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH
-rw------- 1 root root 4161536 Oct 13 18:13 t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:1
-rw------- 1 root root 4293918720 Oct 13 18:13 t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:2
-rw------- 1 root root 54784826880 Oct 13 18:13 t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:3
-rw------- 1 root root 262127616 Oct 13 18:13 t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:5
-rw------- 1 root root 262127616 Oct 13 18:13 t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:6
-rw------- 1 root root 115326976 Oct 13 18:13 t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:7
-rw------- 1 root root 299876352 Oct 13 18:13 t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:8
-rw------- 1 root root 3000591900160 Oct 13 18:13 t10.ATA_____WDC_WD30EZRX2D00MMMB0_________________________WD2DWCAWZ2847281
lrwxrwxrwx 1 root root 74 Oct 13 18:13 vml.0100000000202020202057442d574341575a32383437323831574443205744 -> t10.ATA_____WDC_WD30EZRX2D00MMMB0_________________________WD2DWCAWZ2847281

lrwxrwxrwx 1 root root 74 Oct 13 18:13 vml.01000000004f435a2d4c373442453645385a313942534741484f435a2d4147 -> t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH
lrwxrwxrwx 1 root root 76 Oct 13 18:13 vml.01000000004f435a2d4c373442453645385a313942534741484f435a2d4147:1 -> t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:1
lrwxrwxrwx 1 root root 76 Oct 13 18:13 vml.01000000004f435a2d4c373442453645385a313942534741484f435a2d4147:2 -> t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:2
lrwxrwxrwx 1 root root 76 Oct 13 18:13 vml.01000000004f435a2d4c373442453645385a313942534741484f435a2d4147:3 -> t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:3
lrwxrwxrwx 1 root root 76 Oct 13 18:13 vml.01000000004f435a2d4c373442453645385a313942534741484f435a2d4147:5 -> t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:5
lrwxrwxrwx 1 root root 76 Oct 13 18:13 vml.01000000004f435a2d4c373442453645385a313942534741484f435a2d4147:6 -> t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:6
lrwxrwxrwx 1 root root 76 Oct 13 18:13 vml.01000000004f435a2d4c373442453645385a313942534741484f435a2d4147:7 -> t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:7
lrwxrwxrwx 1 root root 76 Oct 13 18:13 vml.01000000004f435a2d4c373442453645385a313942534741484f435a2d4147:8 -> t10.ATA_____OCZ2DAGILITY3____________________________OCZ2DL74BE6E8Z19BSGAH:8

On voit que l’hyperviseur ESXi a découvert 2 disques physiques:

  • un disque dur Western Digital de 3To (vml.0100000000202020202057442d574341575a32383437323831574443205744)
  • Un SSD OCZ Agility de 60Go

Ajout d’un disque virtuel à partir d’un disque physique

Pour pouvoir monter un disque via nos machines virtuelles, il nous faut une image virtuelle fournissant une sorte de passerelle vers notre disque physique.
Nous placerons ce fichier images dans la baque de données : “datastore1.

J’ai essayé d’utiliser la commande “vmkfstools” avec le paramètre “-r” mais cela m’a renvoyé une erreur en me disant que mon disque était trop gros (je pense qu’elle crée une image intermédiaire du disque dans le datastore1; mais ce n’est pas ce que je veux ici.


# vmkfstools -r /vmfs/devices/disks/t10.ATA_____WDC_WD30EZRX2D00MMMB0_________________________WD2DWCAWZ2847281 /vmfs/volumes/datastore1/WD3To.vmdk

Alors j’ai essayé “vmkfstools” avec le paramètre “-z”, et la magie a opéré !


#vmkfstools -z /vmfs/devices/disks/vml.0100000000202020202057442d574341575a32383437323831574443205744 /vmfs/volumes/datastore1/WD3To.vmdk

Monter le disque sur une machine virtuelle (VM)

Dans Sphere vous pouvez maintenant ajouter ce disque dur à une machine virtuelle.

  • Faites click droit sur la machine virtuelle,
  • dans le menu contextuel “Modifier les paramètres”.
  • Puis “Ajouter…”
  • Choisissez “Disque dur”
  • Puis, “Utiliser un disque virtuel existant”
  • Allez chercher l’image disque précedement crée dans la banque (datastore) qui convient
  • Et pour finir “Suivant”, Terminer”.

Dans la liste des périphériques apparaitra alors un disque dur “Raw Lun mappé”. C’est gagné !


# cat /vmfs/volumes/datastore1/WD3To.vmdk
# Disk DescriptorFile
version=1
encoding="UTF-8"
CID=fffffffe
parentCID=ffffffff
isNativeSnapshot="no"
createType="vmfsPassthroughRawDeviceMap"

# Extent description
RW 5860531055 VMFSRDM "WD3To-rdmp.vmdk"

# The Disk Data Base
#DDB

ddb.virtualHWVersion = "9"
ddb.longContentID = "a8a55ebb6d74b289bb71f6e3fffffffe"
ddb.uuid = "60 00 C2 94 81 45 db f1-f8 24 d1 ee ce 2e 54 bd"
ddb.geometry.cylinders = "364801"
ddb.geometry.heads = "255"
ddb.geometry.sectors = "63"
ddb.adapterType = "buslogic"

En fin de vie, les disques durs ont tendance à faire de plus en plus d’erreurs de lecture / écriture.
Parfois, ils ne donnent aucun signe de fatigue, et lache d’un seul coup.

Utiliser ddrescue

Un disque dur pourrait en simplifiant beaucoup être une énorme liste d’octets. En fin de vie, une partie de cette liste devient difficilement accessible. Le système se bloque, devient lent…

Dans l’univers Unix, la commande dd permet de copier les octets d’un device vers un autre. Mais elle ne gère pas les eventuelles erreurs qui se produisent lorsqu’un disque dur est en fin de vie. Au contraire la commande ddrescue est concue pour travailler dans ce contexte particulier, et fournie un ensemble d’outils permettant d’insister la ou ca fait mal !. Par exemple, en re-essayant de lire plusieurs fois les secteurs illisibles, de facon aléatoire, en essayant de lire des blocs de données de plus en plus petits…

Faire l’état des lieux

Pour commencer, il faut identifier les disques durs via la commande suivante :

# fdisk -l

Disk /dev/sdb: 3000.6 GB, 3000591900160 bytes
255 heads, 63 sectors/track, 364801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x2681f139

Device Boot Start End Blocks Id System
/dev/sdb1 1 243201 1953512001 7 HPFS/NTFS

Disk /dev/sdc: 2000.4 GB, 2000397852160 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x2681f139

Device Boot Start End Blocks Id System
/dev/sdc1 1 243201 1953512001 7 HPFS/NTFS

Disk /dev/sda: 203.9 GB, 203927027200 bytes
255 heads, 63 sectors/track, 24792 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0004fc5d

Device Boot Start End Blocks Id System
/dev/sda1 1 973 7811072 83 Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2 973 1459 3906560 82 Linux swap / Solaris
/dev/sda3 1459 24793 187427840 83 Linux

La première passe

Le but de la première passe est de récupérer un maximum de données en un minimum de temps tout en se faisant une idée des dégats (difficulté de récupérer les données, zones endommagées plus ou moins grandes, situées à des endroits plus ou moins critiques).

Ici, on lit le disque sdc et on copie son contenu sur sdb en commencant au début du disque. Il va de soit que le disque cible “sdc” doit être sain pour s’assurer le maximum de chance ! A chaque passe ou tentative, le résultat de la lecture est inscrit dans le fichier “ddrescue.media.log”; si bien que les blocs illisibles ne seront pas relus (si les zones endommagées sont nombreuses, le fichier peut vite enfler, mieux vaut s’assurer qu’il y aura suffisament de place dès le début !).

# ddrescue -n -i 0 /dev/sdc /dev/sdb ddrescue.media.log

Souvent c’est le début du disque qui pose problème, afin de gagner du temps si vous remarquez que seul le début du disque est vraiment très endommagé, vous pouvez sauter certaines zones.

# ddrescue -n -i 200G /dev/sdc /dev/sdb ddrescue.media.log

Par exemple, ici nous commencons une passe à partir des 200Go (soit au 1/10 des 2To). En pratiquant de la sorte et par itérations, il sera possible de récupérer un maximum de données, en convergeant très rapidement vers les blocs de données qui posent vraiment problèmes.

Grace au fichier “ddrescue.media.log”, il est possible d’arreter et de reprendre et de travailler par étape.

A la fin de la premiere passe voici ce qu’on peut obtenir…

# ddrescue -n -i 0 /dev/sdc /dev/sdb ddrescue.media.log
Press Ctrl-C to interrupt
Initial status (read from logfile)
rescued: 2 TB, errsize: 65536 B, errors: 6
Current status
rescued: 2 TB, errsize: 65536 B, current rate: 0 B/s
ipos: 0 B, errors: 6, average rate: 0 B/s
opos: 0 B, time from last successful read: 0 s
Finished

  • rescued 2 TB : nous indique que nous avons récupéré environ 2To de données ! (Youhou)
  • errors 6 : sur la totalité du disque 6 blocs de données non pas pu être lu dès la première tentative…
  • errsize 65536 B : au total il manque pour le moment 65536B soit 65Ko sur les 2To ! Une paille !

Récupérer le reste !

Dans le but de récupérer les données “oubliées” lors de la première passe, nous allons demander à ddrescue de lire des blocs plus petits, et de réessayer plusieurs fois. Ici il re-essaye 2 fois, et tente de récupérer 16 secteurs à la fois…

# ddrescue -i 0 -c 16 -r 2 /dev/sdc /dev/sdb ddrescue.media.log

Dans notre cas précis, le disque dur ayant très peu de données illisibles, nous allons aller directement droit au but :

# ddrescue -i 0 -c 1 -r 5 /dev/sdc /dev/sdb ddrescue.media.log

Dans mon cas cela n’aura servi à presque rien, en insistant un peu, j’ai réussi à récupérer encore 15Ko !…

Automatiser la récupération

Il existe un script particulierement efficace dd_rhelp, il permet d’automatiser ces différentes passes avec ddrescue, en commencant la ou il peut lire, puis en insistant sur les blocs difficiles. Tant qu’il y a des données à récupérer il continuera inlassablement à parcourir le disque dans l’espoir de récupérer encore des données (certains n’hesite pas à le laisser tourner plusieurs semaines !)…

Que faire ensuite ?

Reprendre une vie normale

J’ai eu de la chance cette fois, à l’aire du tout numérique, perdre des données c’est parfois terrible… La vidéo de la naissance du petit dernier, la photo de votre première conquète amoureuse, ou vos fiches de paye que vous aviez soigneusement scannées une à une… Meme si mettre en place une redondance est souvent cher, long à mettre en place, fastidieux… Je vous engage vivement à le faire… Certaines données n’ont simplement pas de prix…

Introduction

Je viens d’acheter un disque dur de 3To (ou 3TB – Tera Bytes) et je viens de me rendre compte que la partition que je viens de créer en ext3 via cfdisk fait environ 850Go ! Or ce n’est pas ca que j’avais demandé au départ !… lol !

Créer une table GPT sur un disque dur

Au lieu d’utiliser cfdisk, nous allons utiliser gparted qui va nous permettre de créer une table GPT.

faites attention aux disques sur lesquels vous faites les manipulations suivantes)

Ici je crée une nouvelle table GPT sur le disque /dev/sdc en favorisant un maximum les performances.


# parted -s -a optimal /dev/sdc mklabel gpt

Créer une partition ext4 de plus de 2To

On crée ensuite une partition de type ext4 recouvrant l’intégralité du disque dur.


# parted -s -a optimal /dev/sdc mkpart primary ext4 0% 100%

Pour vérifier le résultat de notre action :


# parted /dev/sdc
GNU Parted 2.3
Using /dev/sdc
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) print
Model: ATA ST3000DM001-9YN1 (scsi)
Disk /dev/sdc: 3001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number Start End Size File system Name Flags
1 1049kB 3001GB 3001GB primary

(parted) q

Formater la partition en ext4

Pour formater le disk en ext4 et sans blocs réservés (inutiles dans le cadre d’une partition de sauvegarde):


# mkfs.ext4 -m 0 /dev/sdc1

Monter la partition ext4


# mkdir /mnt/sdb1
# mount -t ext4 /dev/sdb1 /mnt/sb1

Introduction

Si vous maintenez un forum phpBB publique, vous avez certainement été confronté un jour ou l’autre à des utilisateurs peu scrupuleux qui peuplent votre forum de spams : messages inutiles (publicités pour médicaments, viagra, …), voir parfois avec du contenu pornographique !

Ayant été victime de ce type d’abus, il y a peu, ce post n’a pas pour but d’éradiquer tous les spamers de votre forum, mais vous permettra peut-être de vous fournir quelques pistes, ou quelques idées sur comment procéder…

Quelques conseils pour endiguer l’accroissement des spams sur votre forum

N’attendez pas d’avoir un million de spams (posts indésirables) pour réagir !

Plus vous attendez, plus le contenu utile et intéressant va être parsemé, plus la qualité de votre forum va baisser, et du même coup son attrait, et son référencement…

Les sauvegardes et manipulations nécessaires en base de données seront de plus en plus longues et difficile.

Sans parler des ressources consommées sur le serveur qui grandiront de manières exponentielles…

Faire régulièrement les mises à jour de votre logiciel de forum (phpBB ou autre)

C’est facile ! Il suffit de se rendre sur le site officiel du logiciel.

Si possible, empêchez l’inscription automatique

En général, il est nécessaire de se créer un compte utilisateur avant de pouvoir poster sur un forum.
La stratégie d’inscription devra empêcher les robots (bots spamers) de s’inscrire sur votre forum automatiquement.
Vous pouvez par exemple mettre en place un système de captcha ou poser une question simple auquel un humain sait répondre mais pas un ordinateur (test de turing).

Quelques pistes pour nettoyer votre forum

Attention ces pistes doivent être soumises à votre propre jugement, il va de soit qu’on ne maintient pas un forum utilisé par 30 personnes, comme un forum faisant 1000 posts par jours !…
Et donc que les solutions envisagées se verront plus ou moins efficaces, ou destructrices en fonction du type de fréquentation de votre forum….

  1. Supprimer les utilisateurs qui ont postés énormément de message.
  2. Supprimer les utilisateurs créés plusieurs fois avec la même adresse ip.
  3. Et enfin faites le ménage en nettoyant les tables de votre base de données (clé étrangères orphelines, optimisation des tables,…).

Conclusion

En suivant ces conseils, je suis passé de :

  • 60000 posts à un peu plus de 100 messages utiles.
  • Pratiquement autant pour les sujets (topics).
  • 1000 utilisateurs à environ 100
  • Les tables réservés à l’indexation de contenu ont été grandement nettoyées
  • 450Mo de base de données Mysql à 2Mo !


Quelques exemples pratiques sur le forum phpBB

N’oubliez pas de faire une sauvegarde de votre base de données avant d’intervenir dessus !!!!

J’ai repéré que ces derniers jours uniquement des topics indésirables sont tombés dans un forum…
Je commence par sélectionner tous les topics les plus récents du forum; et vérifie bien que uniquement les topics indésirables sont sélectionnés…


SELECT `topic_id`, `forum_id`, FROM_UNIXTIME(`topic_time`), `topic_time`, `topic_poster`, `topic_title`
FROM `pbb_topics`
WHERE `topic_time` >= 1337190526 AND `forum_id` = 5
ORDER BY `topic_time` DESC
LIMIT 0, 500

Puisque nous avons isolé les topics indésirables nous avons l’identifiant des utilisateurs indésirables `topic_poster`…

SELECT `topic_poster` FROM `pbb_topics` WHERE `topic_time` >= 1337190526 AND `forum_id` = 5

Nous pouvons donc en utilisant la requête du dessus construire la requête qui va supprimer les utilisateurs indésirables…

DELETE FROM `pbb_users` WHERE `user_id` IN (SELECT `topic_poster` FROM `pbb_topics` WHERE `topic_time` >= 1337190526 AND `forum_id` = 5)

Si on a supprimé des utilisateurs, les topics, posts, et d’autres objets du forum créés par ces utilisateurs vont se retrouver orphelins… Il est donc temps de faire le ménage…


-- Suppression des lignes n'ayant plus lieu d'être
DELETE FROM `pbb_user_group` WHERE `user_id` NOT IN (SELECT `user_id` FROM `pbb_users`);
DELETE FROM `pbb_topics` WHERE `topic_poster` NOT IN (SELECT `user_id` FROM `pbb_users`);
DELETE FROM `pbb_posts` WHERE `poster_id` NOT IN (SELECT `user_id` FROM `pbb_users`);
DELETE FROM `pbb_posts` WHERE `topic_id` NOT IN (SELECT `topic_id` FROM `pbb_topics`);
DELETE FROM `pbb_topics_posted` WHERE `topic_id` NOT IN (SELECT `topic_id` FROM `pbb_topics`);
DELETE FROM `pbb_topics_posted` WHERE `user_id` NOT IN (SELECT `user_id` FROM `pbb_users`);
DELETE FROM `pbb_topics_watch` WHERE `user_id` NOT IN (SELECT `user_id` FROM `pbb_users`);
DELETE FROM `pbb_topics_watch` WHERE `topic_id` NOT IN (SELECT `topic_id` FROM `pbb_topics`);
DELETE FROM `pbb_topics_track` WHERE `topic_id` NOT IN (SELECT `topic_id` FROM `pbb_topics`);
DELETE FROM `pbb_topics_watch` WHERE `topic_id` NOT IN (SELECT `topic_id` FROM `pbb_topics`);
DELETE FROM `pbb_search_wordmatch` WHERE `post_id` NOT IN (SELECT `post_id` FROM `pbb_posts`);
DELETE FROM `pbb_search_wordlist` WHERE `word_id` NOT IN (SELECT `word_id` FROM `pbb_search_wordmatch`);

Si vous visitez votre forum phpBB à cet instant, vous allez avoir peur… En effet, pour accélérer son fonctionnement le forum met en cache pas mal de données, il faut donc forcer le forum à rafraîchir ses données… Pour cela il y a pas mal de possibilité coté interface d’administration.
Enfin touche finale, pour forcer le rafraîchissement des statistiques d’un forum, il suffit de poster un nouveau sujet dans le forum souhaité, et de le supprimer juste après.

Installer les paquets nécessaires

# aptitude install dhcp3-server

Si des messages d’erreurs ou avertissements surviennent lorsque le serveur est démarré pour la première fois, c’est normal !

Configurer les étendues de votre réseau (plages d’adresses IP)

# Ce serveur DHCP fait autorite sur ce reseau
authoritative;

# Réglage e la duree des baux
default-lease-time 600;
max-lease-time 7200;

# Options globales (par defaut sur toutes les etendues
option domain-name "domain.tld";
option domain-name-servers dns1.domain.tld, dns2.otherdomain.tld;

# Parametrage d une etendue
subnet 192.168.88.0 netmask 255.255.255.0 {
        range 192.168.88.10 192.168.88.50;
        option routers 192.168.88.1;
}

Configurer les interfaces d’écoute du serveur

Editez le fichier “/etc/default/isc-dhcp-server”

INTERFACES="eth0"

Mettre à jour une zone DNS via le serveur DHCP

Générer la clef de mise à jour DNS

rndc-confgen > /etc/bind/rndc.key

Ajouter l’autorisation de mise à jour du serveur DNS

Editez le fichier “/etc/bind/named.conf.local” en ajoutant les ligne suivantes :
N’oubliez pas de remplacer la clef “MA_CLEF_SECRETE” par celle indiquée dans le fichier : “/etc/bind/rndc.key”


key "rndc-key" {
       algorithm hmac-md5;
       secret "MA_CLEF_SECRETE";
};

controls {
       inet 127.0.0.1 port 953
       allow { 127.0.0.1; } keys { "rndc-key"; };
};

Utilisation de la commande Ntpdate

Pour mettre à jour l’heure ou la date de votre système Linux vous pouvez utiliser la commande Ntpdate.
Ntpdate prend en paramètre l’adresse d’un serveur de temps à interroger.

Voici comment utiliser cette commande :

ntpdate -s -u pool.ntp.org

pool.ntp.org : Le projet Ntp Pool fourni aléatoirement l’adresse d’un serveur de temps accessible publiquement.
L’option -s permet d’envoyer le résultat de la commande dans les logs su système (/var/log/syslog)
L’option -u permet de ne pas passer par les ports reservés à l’utilisateur root (nécessitant un niveau d’autorisation plus élevé).

Pour aller plus loin

La méthode ci-dessous permet de remettre à l’heure votre serveur de temps en temps. Si vous avez besoin de mettre à l’heure votre serveur avec plus de précisions vous devriez peut etre vous tourner vers l’installtion d’un serveur NTP sur votre réseau local.

Installer les paquets nécessaires à la compilation

# aptitude install build-essential linux-headers-`uname -r`
# aptitude install make
# aptitude install gcc
# aptitude install psmisc // Evite le message concernant "killall"

Adapter la version de gcc

ln -sf /usr/bin/gcc-4.3 /usr/bin/gcc  // Evite un message concernant la version de gcc lors de la compilation du noyau

Téléchargez, décompressez, et lancer l’installation

Vous devez vous rendre sur le site de vmware pour télécharger l’archive d’installation de vmware server 2…

Personnellement, j’ai choisi “VMware Server 2 for Linux Operating Systems 64-bit version” (environ 452 Mo).
Attention, vous devez créer un compte Vmware pour obtenir une licence d’utilisation de VMware server; c’est gratuit !

# wget ftp://host/VMware-server-2.0.2-203138.x86_64.gz
# tar -zxvf VMware-server-2.0.2-203138.x86_64.gz
# cd vmware-server-distrib
# ./vmware-install.pl

Le jeu des questions / réponses !

Creating a new VMware Server installer database using the tar4 format.

Installing VMware Server.

In which directory do you want to install the binary files?
[/usr/bin]

What is the directory that contains the init directories (rc0.d/ to rc6.d/)?
[/etc]

What is the directory that contains the init scripts?
[/etc/init.d]

In which directory do you want to install the daemon files?
[/usr/sbin]

In which directory do you want to install the library files?
[/usr/lib/vmware]

The path "/usr/lib/vmware" does not exist currently. This program is going to
create it, including needed parent directories. Is this what you want?
[yes]

In which directory do you want to install the manual files?
[/usr/share/man]

In which directory do you want to install the documentation files?
[/usr/share/doc/vmware]

The path "/usr/share/doc/vmware" does not exist currently. This program is
going to create it, including needed parent directories. Is this what you want?
[yes]

The installation of VMware Server 2.0.2 build-203138 for Linux completed
successfully. You can decide to remove this software from your system at any
time by invoking the following command: "/usr/bin/vmware-uninstall.pl".

Before running VMware Server for the first time, you need to configure it by
invoking the following command: "/usr/bin/vmware-config.pl". Do you want this
program to invoke the command for you now? [yes] no

Enjoy,

--the VMware team

Patch du script de configuration

Avant d’utiliser le script “/usr/bin/vmware-config.pl”, il est fortement recommandé de la patcher

# wget http://www.troublenow.org/files/vmware/vmware2.0.2-on-debian6.0.1.tar.gz
 # tar -zxvf vmware2.0.2-on-debian6.0.1.tar.gz
# cd /usr/bin
# patch vmware-config.pl < /home/user/vmware2/vmware-config.pl.diff

Patch des sources

# cd /usr/lib/vmware/modules/source
# for i in *.tar ; do tar xpf $i ; done
# for i in /home/user/vmware2/00-vmware-2.6.32_functional.diff /home/user/vmware2/01-vmware-2.6.32_cosmetic.diff /home/user/vmware2/02-vmnet-include.diff; do patch -p1 < $i; done
# for i in vmci vmmon vmnet vsock ; do tar cpf $i.tar $i-only ; done

Lancement de la config

# cd /usr/bin/
# ./vmware-config.pl

Et les questions reprennent !

Making sure services for VMware Server are stopped.

Stopping VMware autostart virtual machines:
   Virtual machines                                                   failed
Stopping VMware management services:
   VMware Virtual Infrastructure Web Access
   VMware Server Host Agent                                           failed
Stopping VMware services:
   VMware Authentication Daemon                                        done
   Virtual machine monitor                                             done

You must read and accept the End User License Agreement to continue.
Press enter to display it.

---

Do you accept? (yes/no) yes

Thank you.

None of the pre-built vmmon modules for VMware Server is suitable for your
running kernel.  Do you want this program to try to build the vmmon module for
your system (you need to have a C compiler installed on your system)? [yes]

Using compiler "/usr/bin/gcc". Use environment variable CC to override.

What is the location of the directory of C header files that match your running
kernel? [/lib/modules/2.6.32-5-amd64/build/include]

Extracting the sources of the vmmon module.

Building the vmmon module.

Using 2.6.x kernel build system.
make: entrant dans le répertoire « /tmp/vmware-config3/vmmon-only »
make -C /lib/modules/2.6.32-5-amd64/build/include/.. SUBDIRS=$PWD SRCROOT=$PWD/. modules
make[1]: entrant dans le répertoire « /usr/src/linux-headers-2.6.32-5-amd64 »
  CC [M]  /tmp/vmware-config3/vmmon-only/linux/driver.o
  CC [M]  /tmp/vmware-config3/vmmon-only/linux/driverLog.o
  CC [M]  /tmp/vmware-config3/vmmon-only/linux/hostif.o
/tmp/vmware-config3/vmmon-only/linux/hostif.c:3601:2: warning: #warning current->cred->fsuid = 0;
/tmp/vmware-config3/vmmon-only/linux/hostif.c:3608:2: warning: #warning current->cred->fsuid = fsuid;
/tmp/vmware-config3/vmmon-only/linux/hostif.c:3626:2: warning: #warning cap_lower(current->cred->cap_effective, CAP_SYS_RESOURCE);
  CC [M]  /tmp/vmware-config3/vmmon-only/common/comport.o
  CC [M]  /tmp/vmware-config3/vmmon-only/common/cpuid.o
  CC [M]  /tmp/vmware-config3/vmmon-only/common/hashFunc.o
  CC [M]  /tmp/vmware-config3/vmmon-only/common/memtrack.o
  CC [M]  /tmp/vmware-config3/vmmon-only/common/phystrack.o
  CC [M]  /tmp/vmware-config3/vmmon-only/common/task.o
  CC [M]  /tmp/vmware-config3/vmmon-only/common/vmx86.o
  CC [M]  /tmp/vmware-config3/vmmon-only/vmcore/moduleloop.o
  LD [M]  /tmp/vmware-config3/vmmon-only/vmmon.o
  Building modules, stage 2.
  MODPOST 1 modules
  CC      /tmp/vmware-config3/vmmon-only/vmmon.mod.o
  LD [M]  /tmp/vmware-config3/vmmon-only/vmmon.ko
make[1]: quittant le répertoire « /usr/src/linux-headers-2.6.32-5-amd64 »
cp -f vmmon.ko ./../vmmon.o
make: quittant le répertoire « /tmp/vmware-config3/vmmon-only »
The vmmon module loads perfectly into the running kernel.

None of the pre-built vmci modules for VMware Server is suitable for your
running kernel.  Do you want this program to try to build the vmci module for
your system (you need to have a C compiler installed on your system)? [yes]

Extracting the sources of the vmci module.

Building the vmci module.

Using 2.6.x kernel build system.
make: entrant dans le répertoire « /tmp/vmware-config3/vmci-only »
make -C /lib/modules/2.6.32-5-amd64/build/include/.. SUBDIRS=$PWD SRCROOT=$PWD/. modules
make[1]: entrant dans le répertoire « /usr/src/linux-headers-2.6.32-5-amd64 »
  CC [M]  /tmp/vmware-config3/vmci-only/linux/driver.o
  CC [M]  /tmp/vmware-config3/vmci-only/linux/driverLog.o
  CC [M]  /tmp/vmware-config3/vmci-only/linux/vmciKernelIf.o
  CC [M]  /tmp/vmware-config3/vmci-only/common/vmciContext.o
  CC [M]  /tmp/vmware-config3/vmci-only/common/vmciDatagram.o
  CC [M]  /tmp/vmware-config3/vmci-only/common/vmciDriver.o
  CC [M]  /tmp/vmware-config3/vmci-only/common/vmciDs.o
  CC [M]  /tmp/vmware-config3/vmci-only/common/vmciEvent.o
  CC [M]  /tmp/vmware-config3/vmci-only/common/vmciGroup.o
  CC [M]  /tmp/vmware-config3/vmci-only/common/vmciHashtable.o
  CC [M]  /tmp/vmware-config3/vmci-only/common/vmciProcess.o
  CC [M]  /tmp/vmware-config3/vmci-only/common/vmciQueuePair.o
  CC [M]  /tmp/vmware-config3/vmci-only/common/vmciResource.o
  LD [M]  /tmp/vmware-config3/vmci-only/vmci.o
  Building modules, stage 2.
  MODPOST 1 modules
  CC      /tmp/vmware-config3/vmci-only/vmci.mod.o
  LD [M]  /tmp/vmware-config3/vmci-only/vmci.ko
make[1]: quittant le répertoire « /usr/src/linux-headers-2.6.32-5-amd64 »
cp -f vmci.ko ./../vmci.o
make: quittant le répertoire « /tmp/vmware-config3/vmci-only »
The vmci module loads perfectly into the running kernel.

VMWare config patch VMCI!
« /tmp/vmware-config3/vmci-only/Module.symvers » -> « /tmp/vmware-config3/../Module.symvers »
None of the pre-built vsock modules for VMware Server is suitable for your
running kernel.  Do you want this program to try to build the vsock module for
your system (you need to have a C compiler installed on your system)? [yes]

Extracting the sources of the vsock module.

VMWare config patch VSOCK!
« /tmp/vmware-config3/../Module.symvers » -> « /tmp/vmware-config3/vsock-only/Module.symvers »
Building the vsock module.

Using 2.6.x kernel build system.
make: entrant dans le répertoire « /tmp/vmware-config3/vsock-only »
make -C /lib/modules/2.6.32-5-amd64/build/include/.. SUBDIRS=$PWD SRCROOT=$PWD/. modules
make[1]: entrant dans le répertoire « /usr/src/linux-headers-2.6.32-5-amd64 »
  CC [M]  /tmp/vmware-config3/vsock-only/linux/af_vsock.o
  CC [M]  /tmp/vmware-config3/vsock-only/linux/driverLog.o
  CC [M]  /tmp/vmware-config3/vsock-only/linux/util.o
  CC [M]  /tmp/vmware-config3/vsock-only/linux/vsockAddr.o
  LD [M]  /tmp/vmware-config3/vsock-only/vsock.o
  Building modules, stage 2.
  MODPOST 1 modules
  CC      /tmp/vmware-config3/vsock-only/vsock.mod.o
  LD [M]  /tmp/vmware-config3/vsock-only/vsock.ko
make[1]: quittant le répertoire « /usr/src/linux-headers-2.6.32-5-amd64 »
cp -f vsock.ko ./../vsock.o
make: quittant le répertoire « /tmp/vmware-config3/vsock-only »
The vsock module loads perfectly into the running kernel.

Do you want networking for your virtual machines? (yes/no/help) [yes]

Configuring a bridged network for vmnet0.

Please specify a name for this network.
[Bridged]

Your computer has multiple ethernet network interfaces available: eth0, eth1.
Which one do you want to bridge to vmnet0? [eth0]

The following bridged networks have been defined:

. vmnet0 is bridged to eth0

Do you wish to configure another bridged network? (yes/no) [no]

Do you want to be able to use NAT networking in your virtual machines? (yes/no)
[yes]

Configuring a NAT network for vmnet8.

Please specify a name for this network. [NAT]

Do you want this program to probe for an unused private subnet? (yes/no/help)
[yes]

Probing for an unused private subnet (this can take some time)...

The subnet 192.168.184.0/255.255.255.0 appears to be unused.

The following NAT networks have been defined:

. vmnet8 is a NAT network on private subnet 192.168.184.0.

Do you wish to configure another NAT network? (yes/no) [no]

Do you want to be able to use host-only networking in your virtual machines?
[yes]

Configuring a host-only network for vmnet1.

Please specify a name for this network.
[HostOnly]

Do you want this program to probe for an unused private subnet? (yes/no/help)
[yes]

Probing for an unused private subnet (this can take some time)...

Probing for an unused private subnet (this can take some time)...

The subnet 172.16.198.0/255.255.255.0 appears to be unused.

The following host-only networks have been defined:

. vmnet1 is a host-only network on private subnet 172.16.198.0.

Do you wish to configure another host-only network? (yes/no) [no]

None of the pre-built vmnet modules for VMware Server is suitable for your
running kernel.  Do you want this program to try to build the vmnet module for
your system (you need to have a C compiler installed on your system)? [yes]

Extracting the sources of the vmnet module.

Building the vmnet module.

Using 2.6.x kernel build system.
make: entrant dans le répertoire « /tmp/vmware-config3/vmnet-only »
make -C /lib/modules/2.6.32-5-amd64/build/include/.. SUBDIRS=$PWD SRCROOT=$PWD/. modules
make[1]: entrant dans le répertoire « /usr/src/linux-headers-2.6.32-5-amd64 »
  CC [M]  /tmp/vmware-config3/vmnet-only/linux/driver.o
  CC [M]  /tmp/vmware-config3/vmnet-only/linux/hub.o
  CC [M]  /tmp/vmware-config3/vmnet-only/linux/userif.o
  CC [M]  /tmp/vmware-config3/vmnet-only/linux/netif.o
  CC [M]  /tmp/vmware-config3/vmnet-only/linux/bridge.o
/tmp/vmware-config3/vmnet-only/linux/bridge.c:652:2: warning: #warning EHUD gotta figure out what this does and how to fix it: atomic_add(skb->truesize, &sk->sk_wmem_alloc);
  CC [M]  /tmp/vmware-config3/vmnet-only/linux/filter.o
  CC [M]  /tmp/vmware-config3/vmnet-only/linux/procfs.o
  CC [M]  /tmp/vmware-config3/vmnet-only/linux/smac_compat.o
  CC [M]  /tmp/vmware-config3/vmnet-only/linux/smac.o
  CC [M]  /tmp/vmware-config3/vmnet-only/linux/vnetEvent.o
  CC [M]  /tmp/vmware-config3/vmnet-only/linux/vnetUserListener.o
  LD [M]  /tmp/vmware-config3/vmnet-only/vmnet.o
  Building modules, stage 2.
  MODPOST 1 modules
  CC      /tmp/vmware-config3/vmnet-only/vmnet.mod.o
  LD [M]  /tmp/vmware-config3/vmnet-only/vmnet.ko
make[1]: quittant le répertoire « /usr/src/linux-headers-2.6.32-5-amd64 »
cp -f vmnet.ko ./../vmnet.o
make: quittant le répertoire « /tmp/vmware-config3/vmnet-only »
The vmnet module loads perfectly into the running kernel.

Please specify a port for remote connections to use [902]

Please specify a port for standard http connections to use [8222]

Please specify a port for secure http (https) connections to use [8333]

The current administrative user for VMware Server  is ''.  Would you like to
specify a different administrator? [no]

Using root as the VMware Server administrator.

insserv: script vmware-autostart: service VMware already provided!
insserv: script vmware-core: service VMware already provided!
insserv: script vmware-mgmt: service VMware already provided!
In which directory do you want to keep your virtual machine files?
[/var/lib/vmware/Virtual Machines] /var/vmware/machines

The path "/var/vmware/machines" does not exist currently. This program is going
to create it, including needed parent directories. Is this what you want?
[yes]

Please enter your 20-character serial number.

Type XXXXX-XXXXX-XXXXX-XXXXX or 'Enter' to cancel:  ----

Creating a new VMware VIX API installer database using the tar4 format.

Installing VMware VIX API.

In which directory do you want to install the VMware VIX API binary files?
[/usr/bin]

In which directory do you want to install the VMware VIX API library files?
[/usr/lib/vmware-vix/lib]

The path "/usr/lib/vmware-vix/lib" does not exist currently. This program is
going to create it, including needed parent directories. Is this what you want?
[yes]

In which directory do you want to install the VMware VIX API document pages?
[/usr/share/doc/vmware-vix]

The path "/usr/share/doc/vmware-vix" does not exist currently. This program is
going to create it, including needed parent directories. Is this what you want?
[yes]

The installation of VMware VIX API 1.6.2 build-203138 for Linux completed
successfully. You can decide to remove this software from your system at any
time by invoking the following command: "/usr/bin/vmware-uninstall-vix.pl".

Enjoy,

--the VMware team

Starting VMware services:
   Virtual machine monitor                                             done
   Virtual machine communication interface                             done
   VM communication interface socket family:                           done
   Virtual ethernet                                                    done
   Bridged networking on /dev/vmnet0                                   done
   Host-only networking on /dev/vmnet1 (background)                    done
   DHCP server on /dev/vmnet1                                          done
   Host-only networking on /dev/vmnet8 (background)                    done
   DHCP server on /dev/vmnet8                                          done
   NAT service on /dev/vmnet8                                          done
   VMware Server Authentication Daemon (background)                    done
   Shared Memory Available                                             done
Starting VMware management services:
   VMware Server Host Agent (background)                               done
   VMware Virtual Infrastructure Web Access
Starting VMware autostart virtual machines:
   Virtual machines                                                    done

The configuration of VMware Server 2.0.2 build-203138 for Linux for this
running kernel completed successfully.

Piouff ! C'est installé !

Si vous avez des problèmes, ou si vous êtes un peu perdu, je vous suggère de visiter la page d'aide concernant l'installation de vmware server sur Squeeze