Projet Serveur Vidéo.clement.follet.free.fr/blog/dl/etudes/dream/... · être activés sont rpc.mountd, rpc.nfsd et portmap. En plus du numéro de procédure, les procédures sont

Projet Serveur Vidéo.

Elève : Clément FolletEncadrant : N.Viéville

Master 1 Audiovisuel et multimédiaUniversité de Valenciennes

Projet Serveur Vidéo – Année 2007/08 – Clément Follet – Master Audiovisuel et Multimédia de Valenciennes – page 1

TABLE DES MATIERES

page

1.Projet...................................................................................................................................32.Récapitulatif de l'installation du serveur par les M2..........................................................33.Technologie Raid employée.................................................................................................44.Systèmes de fichier et ReiserFS...........................................................................................45.Protocoles réseau NFS et SMB/CIFS..................................................................................5

5.1.Protocole NFS.......................................................................................................55.2.Complément et précisions sur la configuration de etc/export..............................65.3.Coté client, sur les postes mac, on doit configurer le dossier mount dans le

gestionnaire NetInfo.........................................................................................75.4.Complément d'information sur la configuration du protocole SMB/CIFS...........75.5.Se connecter au chutier sous 6.Windows..............................................................8

7.Protocole SSH.....................................................................................................................88.Enregistrement des projets sous Avid.................................................................................99.En ce qui concerne Final Cut...........................................................................................1010.Débits, cartes réseaux et connexion de postes au réseau...............................................1011.Quelques lignes de commande........................................................................................1112.Réseau.............................................................................................................................11

Annexes.................................................................................................................................13


1.Projet

Le projet consiste a mettre au point un système qui sert de lieu de stockage pour les fichiers en cours de traitement par les stations de montage Avid et Final Cut (médias et projets), toutes les stations de montage pouvant travailler simultanément à partir des mêmes fichiers ou non. Il doit aussi servir de lieu d'échange de projets et de fichiers entre Avid Xpress, Final Cut, Protools, Liquid Edition et Avid Media Composer.

Pour cela la mise en place d'un serveur communiquant à la fois avec les systèmes Unix et les systèmes Windows est nécéssaire. Le serveur et le réseau devront permettre un débit de 28,8 Mo au minimum sur chaque poste en simultanné (débit du flux DV).

Ce projet a été commencé par les M2 Isis Thimothée Buquet et Sandy Isnard au premier semestre de l'année 2008. Leur objectif était de mettre en place le serveur.

On dispose dans la salle Isis d'un serveur Intergraph tdz 2000GL2 series qui comprend :- Processeurs Dual Intel Pentium III 500 MHz- Mémoire cache 512 ko- Disque durs :

un disque ide 6448 Mo avec 3 partitions (partition 2 pour le swap)deux disques durs SCSI de 36,7 Go chacun stripés et en raid logiciel.

- RAM 256 Mo- OS : linux Xubuntu, cet OS est un ubuntu avec un environnement graphique Xfce

au lieu de Gnome nécessitant moins de ressources de mémoires vives- Lecteur cd - Lecteur disquette- Carte réseau

2.Récapitulatif de l'installation du serveur par les M2

Résumé des étapes de l'installation:

- Installation de Xubuntu et partitionnement (3 partitions, système en ext3 + swat + home en ReiserFS)

- Téléchargement des paquets avec Synaptics pour installer NFS, Samba, SSH

(nfs common, nfs kernel server, smb client, smbfs, smb common, swat, samba, ssh)

- Installation de NFS, Samba et SSH.

- Configuration de Firestarter (Firewall), ne laisse s'exécuter que les applications NFS, Samba, SSH, swat, Sun-RPC Portmap

- configuration de NFS (etc/exports)

- Configuration de samba/CIFS :(avec l'outil swat qui édite smb.conf à partir d'un navigateur)


- Autoriser à monter la partition NFS sur Mac au démarrage.

- Connecter un lecteur Réseau sur Windows

3.Technologie Raid employée

Il s'agit sur le serveur de deux disques montés en Raid 0.

Exemple :Avec un RAID 0 ayant une bande de 64 ko et composé de deux disques (disque Disk 0 et disque Disk 1), si l'on veut écrire un fichier A de 500 ko, le fichier sera découpé en 8 bandes qui se répartiront sur les disques alternativement au fur à mesure du stockage. Cela permet un gain de temps de transmission puisque les données sont chargées deux fois plus vite. L'inconvénients est que les fichiers ne sont pas sécurisés car stockés uniquement.

Améliorations :

Lorsqu'un fichier est corrompu il est bien de pouvoir le retrouver d'une manière plus rapide qu'à l'aide d'un système de fichier journalisé.Le Raid 1 répond à ce problème en fonctionnant de la même manière que Raid 0 à la différence qu'il stocke les bande sur chaque disque.

Le Raid 5 n'est pas nécessaire dans notre cas mais on peut en parler.Il s'agit ici de stocker les données sur plusieurs disques, minimum trois, qui sont les diques contenant les données travaillant en Raid 0, plus un dernier disque servant à enregistrer le calcul de la fonction OU exculsif de chaque disque. D = A ouex B ouex C. De cette manière lorsque qu'une donnée sur un disque est endommagée on peut reconstituer la donnée perdue.

4.Systèmes de fichier et ReiserFS

Le système de fichier utilisé pour la partie /home et donc /home/chutier est ReiserFS, celui-ci est journalisé, c'est à dire que les données sont récupérables lorsqu'une erreur est servenue pendant un transfert. Un journal trace les opérations d'écriture tant qu'elles ne sont pas terminées et cela en vue de garantir l'intégrité des données en cas d'arrêt brutal du système d'exploitation (coupure d'alimentation, plantage du système, etc.). Sans un tel fichier journal, un outil de récupération de données après un arrêt brutal doit parcourir l'intégralité du système de fichier pour vérifier sa cohérence. Lorsque la taille du système de fichiers est importante, cela peut durer très longtemps (jusqu'à plusieurs heures) pour un serveur de plusieurs Terraoctets, et pour un résultat moins efficace car entraînant des pertes de données.


De plus ReiserFS fait la différence, grâce à des algorithmes spécialisés, avec ext3 (version journalisée de ext2) par sa vitesse de traitement des petits fichiers (inférieures à quelques ko). Il les traite 8 à 15 fois plus vite et permet un gain de place par rapport à l'ext2 (200Mo gagné sur 2Go de données). ReiserFS permet aussi de très bons temps d'accès à des sous-répertoires même contenant des dizaines de milliers de fichiers. Il est beaucoup utilisé pour le stockage de données « en vrac ». Sa dernière version est Reiser4.

XFS est un système de fichier journalisé développé par Sillicon Graphics, il est tout nouveau et soit-disant « révolutionnaire » car fonctionne en 64 bits, au lieu de 32 actuels. On pourrait donc mettre énormément plus de données. Du coup il est spécialisé dans la gestion de fichiers très important.Le problème est qu'il est peu fiable au niveau sécurité lors d'arrêt brutal, et encore peu utilisé.

5.Protocoles réseau NFS et SMB/CIFS

Un protocole réseau sert à faire communiquer deux système à travers le réseau.

Deux protocoles sont utilisés en parallèle, NFS ne travaillant qu'avec les machines UNIX sera utilisé par les Mac, SMB/CIFS fonctionnant sur tous types de système d'exploitation sera utilisé pour Windows.

5.1.Protocole NFS

Au niveau 3 et 4 du modèle OSI (voir rappel modèle OSI en annexe), se trouve IP et TCP qui permettent de choisir qui communique avec qui, de transmettre les données par paquets et de traiter les erreurs de transmission. Au niveau supérieur 5, il y a NFS qui permet d'envoyer les ordres entre le client et le serveur.NFS (Network File System) est conçu pour permettre à des hôtes distants de monter des partitions sur un système spécifique et les utiliser comme s'il s'agissait de systèmes de fichiers locaux. Cela permet d'organiser les fichiers dans un emplacement central, tout en offrant la possibilité de laisser des utilisateurs autorisés y accéder.

Deux versions de NFS sont actuellement utilisées. NFS version 2, qui est en circulation depuis plusieurs années, est pris en charge par de nombreux systèmes d'exploitation. NFS version 3 a beaucoup plus de fonctionnalités, telles qu'une taille variable d'indicateurs de fichier et des rapports d'erreur plus avancés.

NFS utilise la méthode de connexion RPC (Remote procedure call), ces RPC (développées par sun) permettent l’exécution de procédures sur une machine distante. Chaque procédure est representée par un numero indiqué dans le fichier /etc/rpc.

Extrait du fichier /etc/rpc, la procédure mountd est représentée par le numéro 100005.[bob@matrox /]$ more /etc/rpc

# ident "@(#)rpc 1.11 95/07/14 SMI" /* SVr4.0 1.2 */

#

# rpc

#

portmapper..100000 portmap sunrpc rpcbind


rstatd......100001 rstat rup perfmeter rstat_svc

rusersd.....100002 rusers

nfs.........100003 nfsprog

ypserv......100004 ypprog

mountd….100005 mount showmount

ypbind……100007

walld…….100008 rwall shutdown

yppasswdd…100009 yppasswd

etherstatd..100010 etherstat

rquotad…..100011 rquotaprog quota rquota

Ces programmes ne sont pas tous nécessaires pour le service NFS. Les seuls services qui doivent être activés sont rpc.mountd, rpc.nfsd et portmap.En plus du numéro de procédure, les procédures sont repérées par un numéro de version. Il existe deux versions de bibliothèque RPC.Le fonctionnement de NFS dépend des appels de procédure à distance (RPC). portmap est requis pour mapper les demandes RPC aux bons services. Les processus RPC avertissent portmap lorsqu'ils se lancent, révélant le numéro du port qu'ils contrôlent et les numéros des programmes qu'ils prévoient de servir. Le système client contacte alors portmap sur le serveur avec un numéro de programme spécifique. portmap redirige ensuite le client vers le bon numéro de port pour communiquer avec le service désiré. Comme les services basés sur RPC dépendent de portmap pour réaliser des connexions avec les demandes client entrantes, portmap doit être disponible avant que l'un de ces services ne commence.

5.2.Complément et précisions sur la configuration de etc/export

Quelques changements ont été apportés, les dossiers autorisés sont à présent /home/chutier, pour tous, /home/chutier/Avid pour les avid et /home/chutier/FinalCut pour les final Cut. Les dossiers sont tous en Read and Write, root_squash, subtree_check, sync.


root_squash : force le montage à être fait sous l'indentité nobody et non par root (sécurité pour les données)

subtree_check : applique à tous les dossiers de l'arborescence.

Sync : toute modification de fichier doit être engagée sur le disque avant que la demande d'écriture du client ne soit complétée.

N° IP:

192.168.194.24 – macjoris02 – jean-françois Lerible - DREAM192.168.194.94 – macjoris01 – isis – isis2008192.168.194.50 – pcjoris01 (Liquid Edition)192.168.194.64 – pcjoris02 (Avid Xpress) – administrator – playstation192.168.194.79 – pcjoris03192.168.194.113 – serveur

Après avoir entrer les commandes suivantes :- etc/init.d/nfs-kernel-server reload

- etc/init.d/nfs-kernel-server restart

On visualise le fichier exportfs.

5.3.Coté client, sur les postes mac, on doit configurer le dossier mount dans le Gestionnaire NetInfo

name 192.168.194.113:/home/chutierdir /users/nom/Desktop/serveurvfstype nfsopts (-P,-s,-b)

Après avoir configuré, un démarrage du mac (pouvant être effectué par commande) est nécéssaire pour monter le dossier serveur automatiquement. Si le câble ethernet est débranché plus d'un certain temps, même chose.

5.4.Complément d'information sur la configuration du protocole SMB/CIFS

SMB (Server Message Block) est en fait l'ancienne version de CIFS (Common Internet File System), on a dit qu'il était utilisé principalement pour Windows.

On configure CIFS avec l'outil swat, pour cela il faut lancer un navigateur internet et entrer l'URL :http://192.168.194.113:901

On accède alors au logiciel.

Une fois configuré les données sont reportées dans smb.conf :

Pour changer la configuration du dossier et des utilisateurs, on paramètre [chutier].


http://192.168.194.113:901/

5.5.Se connecter au chutier sous Windows :

Clique droit sur Poste de travail et Monter le lecteur réseau

- on choisit la lettre du disque (voir la procédure en annexe)

- on choisit le dossier à monter sur la machine serveur (\\IP\chutier)

Problème : il faut se reconnecter à chaque fois en isis avec mot de passe du serveur.

Solution : Dans samba il y a un paramètre qu'il faut configurer (qui n'a pas été configurer) pour éviter de devoir se loguer à chaque fois.

6.Protocole SSH

Il permet de communiquer par ligne de commande avec le serveur depuis n'importe quel poste. Sous Unix, SSH est préinstallé, sous windows il faut installer un logiciel tel que cygwin. Cygwin étant un peu trop complet on a installé Putty dans le chutier/Program Files, on peut lancer le logiciel depuis n'importe quel poste windows.

Pour se connecter, on entre:ssh isis@pcdptaudiovis9

On entre le mot de passe isis2008 et on a accès au shell du serveur.Lors de la connection on nous demande de comparer la clé public du serveur demandé avec la clé publique réelle de notre serveur, que l'on doit connaître, pour ne pas se connecter n'importe où.Pour ça on se place dans le dossier /etc/ssh et on entre la commande :


ssh-keygen -lpuis on donne le fichier de la clé publique : ssh_host_rsa_key.pubOn nous renvoit alors la « fingerprint » :3d:ec:96:20:c4:9a:29:64:61:37:42:b6:78:38:b9:6d

Dans ssh_config on peut vérifier si on travaille bien sur le port 22Port 22PermitRootLogin yesOn peut même faire un tunnel, c'est à dire accéder au serveur en étant à l'extérieur du réseau de l'université en créant un tunnel, dans ce cas on vérifie que :X11Forwarding yes

7.Enregistrement des projets sous Avid

Dans le dossier Avid sur le serveur on a créé quatre dossier, Avid01 pour le pcjoris02, Avid02 et Avid03 pour les Avid du centre de ressource et Avid04 pour l'Avid Media Composer du Cravn.Dans chaque dossier, il y a deux dossiers, un pour le projet et un pour les médias. Lorsque l'on crée un nouveau projet à l'ouvertir d'Avid Xpress on doit se placer dans le dossier correspondant à la station de travail. Les fichiers .avp, .avs et .avb seront alors enregistrés dans ce dossier. Lorsque l'on ouvre ce nouveau projet, avant de capturer ou d'importer des fichiers il faut vérifier dans Project -Settings-Media Creation que les fichiers d'import (ou de capture) .omf et .aif seront bien enregistrés dans le disque (dossier) correspondant à la station de travail. Avid ne repère pas les disques en réseau habituellement, malgrès tout la comande « AllDrives » dans la console Avid permet de faire apparaître les disques réseau dans Media Creation.Sur chaque poste de travail, on connecte un lecteur réseau B:\\192.168.194.113\chutier correspondant au chutier, puis on fait 4 connexions supplémentaires:W:\\192.168.194.113\chutier\Avid\Avid01X:\\192.168.194.113\chutier\Avid\Avid02Y:\\192.168.194.113\chutier\Avid\Avid03Z:\\192.168.194.113\chutier\Avid\Avid04

Les croix sont des liens symboliques, ils portent le même nom que les médias mais ne sont pas en réalité les médias, ils trompent avid en pointant vers les vrais fichiers se trouvant dans les dossiers


projet et médias de la station de montage ou le projet a été créé. Pour créer ces liens symboliques et permettre que tous les postes puissent travailler sur les mêmes médias on doit executer un petit programme, pour cela il faut se connecter en ssh avec Putty et executer ce fichier (voir annexe).Ceci peut servir au professeur pour dispatcher les médias et les projets après avoir importer ces médias sur son poste de travail.

Après réflexion, on pourrait se contenter de choisir avec Media Creation de travailler tous sur le dossier d'origine de la station où les médias ont été importés, c'est d'ailleurs ce que l'on peut faire si l'on a commencé un projet et qu'on veut le continuer sur un autre poste. Mais, dans le cas où plusieurs stations de travail sont sur un exercice, ils travaillent donc sur les mêmes médias. S'ils travaillent dans le même dossier et que malencontreusement ils décident d'importer une séquence au même moment, là il y a un hic. Lors d'une importation Avid crée un dossier Creating dans OMFI MediaFiles (lui-même contenu dans Medias) avec plein de fichiers creating0, creating1, etc... à l'intérieur. Si deux postent de montage importent au même moment, il y aura un accès concurrentiel un bug pendant l'import. Alors que si tout le monde travaille dans son dossier médias respectif il n'y a pas de problèmes. Les fichiers .pmr et .mdb qui sont la base de données des médias importés seront différent pour chaque poste.La lecture d'un même fichier (omf, aif) par plusieurs postes en même temps est possible.La procédure est donnée en annexe pour plus de détail.

Remarque qui n'a rien à voir : sous Windows XP on peut faire des liens symboliques avec une fonction junction.exe que l'on trouve facilement sur internet.

8.En ce qui concerne Final Cut

Avec Final Cut il n'y aurait pas de problème à créer un dossier sur le serveur dans le dossier FinalCut et enregistrer les fichiers de capture et d'import, de projet et de rendu dans son dossier de projet créé. On peut alors rouvrir sont projet sur un autre poste. On peut de plus exporter son projet en .XML.

9.Débits, cartes réseaux et connexion de postes au réseau

On a effectué des testes de débits :Pour le macjoris01: on download 440Mo en 160 secondes soit 2,75Mo/s soit 22Mb/s

on upload 440Mo en 33 minutes soit 220ko/s soit 1,7Mb/sPour le macjoris02: on download 440Mo en 50 secondes soit 8,8Mo/s soit 70Mb/s

on upload 440Mo en 7 minutes soit 1,04Mo/s soit 8Mb/sPour le pcjoris02: on download 440 Mo en 60 secondes soit 7,5 Mo/s soit 60Mb/s

même chose en upload

La carte réseau du macjoris01 n'est pas adaptée car un débit de 22Mb/s n'est pas suffisant comparé à un flux DV de 28,8 Mb/s. Il s'agit d'une carte 100M, il en faudrait une de 1000M fonctionnant en Full Duplex. Les autres cartes semblent adaptées, les cartes réseaux des protools sont de 1G également.

Il reste à connecter des postes au réseau, lors de la configuration des Protools, on s'est aperçu que les postes n'était pas connectable car les adresses MAC des cartes n'ont pas été transmises au service informatique.


Voici les adresses Mac:stationpostproddream – ventabren :00:0d:93:b0:13:74stationmusicdream – ventabren :00:03:93:de:59:98

Le pcjoris03 reste à être connecté au serveur, l'adresse IP est 192.168.194.79. Ce poste est autorisé dans samba.conf.

10.Quelques lignes de commandes :

Voir la configuration des cartes réseau et l'adresse IP, masque, routeur, DNS:entrer sbin/ifconfig ou ifconfig pour les systèmes Unixentrer ipconfig /all après cmd sous console ms-dos.

Pour savoir à qui appartient une adresse IP (!être connecté au réseau!):sous Unix : nslookup IP

Passer en mode superutilisateursudo -isismot de passe

changer les droits d'un dossier ou d'un fichier pour les supprimerchmod [u g o a] [+ - =] [r w x] nom_du_fichier a pour all (root (u), user (g), guest (o))ajouter -r pour récursif (tous ce que contient le dossier sera affecté)

Envoyer un ping :ping pcdptaudiovis9 ou ping 192.168.194.113

Remarque : au démarrage de la session sur le serveur. Une fenêtre nous dit que le serveur ne peut pas accéder à internet à cause de la configuration de etc/hosts, Firestarter bloque les applications internet, on ne peut pas accéder au réseau internet (et il ne faut pas) car etc/hosts est édité de la manière suivante 127.0.1.1 pcaudiovis9.univ-valenciennes.fr

11.Réseau

Le réseau se constitue de la manière suivante, il s'agirait d'un réseau Gigabit Ethernet :


Le serveur pourrait une carte réseau 1G avec un port en fibre optique ou en ethernet 1000Base-T, qui enverrait les données à travers le câble vers un commutateur réseau 1G de technologie Store and Forward fonctionnant en auto négociation (mode duplex 1G ou non suivant l'état du réseau) avec des ports à connection 100Base-TX, manageable et Trunking (pour connecter un autre switch par la suite on ne sait jamais). Ensuite de l'ethernet 100Base-TX (2 paires torsadées supportant le full duplex).


pcjoris01

Pcjoris02

Liquid Edition

Avid Dream

Avid Cravn 1

Avid Cravn 2

Avid Media Composer

Station post-prod dream

Station music dream

Ethernet 100base-TX

Switch

Fibre optique ou ethernet 1000base-TX

Serveur Intergraph tdz 2000GL2 series

ANNEXES

1. Rappel : modèle OSI

● Niveau 1 : La couche physique définit la façon dont les données sont physiquement converties en signaux numériques sur le média de communication (impulsions électriques, modulation de la lumière, etc.).

● Niveau 2 : La couche liaison données définit l'interface avec la carte réseau et le partage du média de transmission. (Ethernet)

● Niveau 3 : La couche réseau permet de gérer l'adressage et le routage des données, c'est-à-dire leur acheminement via le réseau. (IP)

● Niveau 4 : La couche transport est chargée du transport des données, de leur découpage en paquets et de la gestion des éventuelles erreurs de transmission. (TCP)

● Niveau 5 : La couche session définit l'ouverture et la destruction des sessions de communication entre les machines du réseau. (NFS, Samba, SSH)

● Niveau 6 : La couche présentation définit le format des données manipulées par le niveau applicatif (leur représentation, éventuellement leur compression et leur chiffrement) indépendamment du système.

● Niveau 7 : La couche application assure l'interface avec les applications. Il s'agit donc du niveau le plus proche des utilisateurs, géré directement par les logiciels.

2.Procédures (page suivante)

5 disques réseaux sur chaque poste :– un disque B: correspondant au chutier– un disque W: correspondant aux médias du poste Avid01– un disque X: correspondant aux médias du poste Avid02– un disque Y: correspondant aux médias du poste Avid03– un disque Z: correspondant aux médias du poste Avid04


● Pour monter un projet Avid sur un autre poste de travail que celui où vous avez importer les fichiers :

– Connecter les disques réseaux (isis - isis2008).– Créer un projet dans le dossier correspond à la station de travail en se mettant sur

ExternalPar exemple : B:\Avid\Avid01\projets pour le pcjoris02 (Avid DREAM)

– Avant la capture ou de l'import des médias quand le projet est ouvert :Aller dans Settings (Project) – Media Creation.Décocher Filter Based on ResolutionDans Capture ou Import choisir le disque W pour vidéo et audio, puis Apply to AllTous les fichiers sont enregistrés sur le disque W.(Si le disque W n'est pas reconnu, tapper la commande AllDrives dans Tools – Console)

– Capturer ou importer alors les médias– Enregistrer le projet

Le projet peut être ouvert depuis n'importe quel poste en allant dans le dossier correspondant à la station de travail, il enregistrera automatiquement des nouveaux médias sur le bon disque tant que l'on de change pas de disque dans Media Creation.

● Pour dispatcher un projet sur plusieurs postes :

– Connecter les disques réseaux (isis - isis2008).– Créer un projet dans le dossier correspond à la station de travail en se mettant sur

ExternalPar exemple : B:\Avid\Avid01\projets pour le pcjoris02 (Avid DREAM)

– Avant la capture ou de l'import des médias quand le projet est ouvert :Aller dans Settings (Project) – Media Creation.Décocher Filter Based on ResolutionDans Capture ou Import choisir le disque W pour vidéo et audio, puis Apply to AllTous les fichiers sont enregistrés sur le disque W.(Si le disque W n'est pas reconnu, tapper la commande AllDrives dans Tools – Console)

– Capturer ou importer alors les médias– Enregistrer le projet– Dispatcher le projet sur tous les postes

– Lancer le logiciel Putty installé dans Program Files sur le serveur– entrer comme hostname pcdptaudiovis9– log as: isis– mot de passe : isis2008– $ /home/chutier/Avid/exec

Ouvrir le projet dispatché (lien symbolique pointant vers le vrai projet) dans le dossier de la nouvelle station de montage et l'enregistrer sous un autre nom dans ce même dossier.

Si tous les postes doivent travailler sur le même projet (en live), ne pas enregistrer sous un nom différent. Ceci reste à tester...


Documents

Projet Serveur Vidéo.clement.follet.free.fr/blog/dl/etudes/dream/... · être activés sont rpc.mountd, rpc.nfsd et portmap. En plus du numéro de procédure, les procédures sont