Piwigo Bugtracker

Viewing Issue Advanced Details Jump to Notes ] Issue History ] Print ]
ID Category Severity Reproducibility Date Submitted Last Update
0000475 [Piwigo] other feature always 2006.07.18 17:20 2007.05.08 10:38
Reporter niklos View Status public  
Assigned To laurent_duretz
Priority normal Resolution fixed Platform
Status closed   OS
Projection none   OS Version
ETA none Fixed in Version 1.7.0 Product Version
  Target Version Product Build
Summary 0000475: Synchroniser plus de 7000 photos
Description Lorsque l'on veut resynchroniser l'ensemble des photos, plus de 7000 en ce qui me concerne, on arrive sur une page d'erreur lié à un timeout.

La solution de contournement est de choisir répertoire par répertoire, mais c'est vite fastidieux.

Serait t'il possible d'automatiser ce "découpage" ?

Niklos
Steps To Reproduce
Additional Information laurent_duretz, je t'assigne officiellement la demande de fonctionnalité car tu sembles vouloir travailler dessus.
Tags No tags attached.
browser any
Database engine and version
PHP version
Web server Apache 1.3.x
Attached Files

- Relationships
related to 0000122closedlaurent_duretz update site distant 
related to 0000521assignedrub Timeout pour recherche/création miniatures et add_index 

-  Notes
(0001251)
niklos (reporter)
2006.07.20 10:09

En effet il y a un lien avec la synchronisation de sites distants. Mais le patch proposé dans l'autre suivi de bug ne permet pas de synchroniser un très grand nombre de photo.

D'ou ma question de savoir si une evolution de la synchronistation vers un découpage automatique par lot du traitement serait possible.
On eviterait ainsi le time out des script ou des connexion SQL.
(0001347)
laurent_duretz (developer)
2006.08.02 15:49

Le bug a été reproduit chez Free et sur d'autres plateformes
(0001352)
laurent_duretz (developer)
2006.08.03 20:34
edited on: 2006.08.25 17:21

- branch 1.6 [Subversion] r1523
- trunk [Subversion] r1525

(0001409)
niklos (reporter)
2006.08.25 15:55

J'ai l'impression que l'on à mélangé la résolution d'un bug, au passage merci à Laurent Duretz pour son excellent travail, à une demande de fonctionnalité.

En effet, j'ai installé la derniére build de pwg en test, et il est toujours fastidieux de synchroniser 7000 photos. Si on veut le faire en une seule passe ca bug avec un timeout sur la base sql. Ce qui est logique vu la quantité de photos.
La seule solution est de le faire répertoire par répertoire et vu que j'ai pas loin de 360 répertoires ....

Donc je me permet de réouvrir la demande d'évolution.

Niklos.
PS: Je ne suis pas hébergé chez Free.
(0001410)
plg (manager)
2006.08.25 17:24

Niklos, tu as raison, on a fait un petit amalgame dans ce ticket.

Qu'entends tu par "dernière" build en test ? Parce que ça fait un moment qu'on n'a pas publié de build sur trunk/BSF et que la dernière en date est moins avancée que la release stable 1.6.1.
(0001411)
niklos (reporter)
2006.08.25 21:22

pierrick,
Quand je parle de derniére build c'est la :
http://svn.gna.org/daily/phpwebgallery-snapshot.tar.gz [^]

Par ailleurs sur ce sujet vous pouvez compter sur mon aide dans la limite de mes compétences (Les cours de programations date un peu), donc n'hésitez pas.

Amicalement,
Niklos
(0001412)
Dudu (reporter)
2006.08.27 09:06

Je pense que ce post va dans le même sens que la demande de niklos :
http://bugs.phpwebgallery.net/view.php?id=521 [^]
(0001610)
niklos (reporter)
2006.12.29 22:31

Des nouvelles pour la synchro d'un grand nombre de photos ?
(0001613)
laurent_duretz (developer)
2006.12.30 10:45

J'ai commencé à modifier le script afin qu'il fasse des redirect après le scan d'une directory ou après N photos scannées dans une directory. Je n'ai pas le temps de le peaufiner pour le moment (année 2007 chargée en perspective).
(0001614)
niklos (reporter)
2006.12.30 10:52

Bonne nouvelle, ce sera fait en 2007 alors ;).
Bon courage et bonne année 2007.
Niklos
(0001642)
rub (developer)
2007.01.09 18:10

> J'ai commencé à modifier le script afin qu'il fasse des redirect après le scan d'une directory ou après N photos scannées dans une directory. Je n'ai pas le temps de le peaufiner pour le moment (année 2007 chargée en perspective).
La dernière fois, j'avais pensé à un truc, c'était de faire de redirect mais en gardant des infos dans le cookie de la session. Comme ca pas de paramètre à passer au redirect et l'ensemble des messages peuvent afficher d'un coup par exemple.

Tu comptais faire comment avec le redirect?
(0001643)
rvelices (developer)
2007.01.10 00:45

Rub, je pense qu'on oblige de faire des simple redirect tout en passant en parametre car le script s'execute sur le site distant (pas de cookie/login/base/config etc...). Le navigateur aura le controle direct sur le site distant et non plus le site_manager...
(0001646)
rub (developer)
2007.01.10 06:54

> (pas de cookie/login/base/config etc...)
Oui, pour les sites distants mais il faudra le faire aussi pour les sites locaux.
D'ailleurs, je me demande s'il ne faudra pas utiliser le même système pour les distants ou les locaux car j'ai l'impression que pour les locaux, on parcoure trop souvent la liste des fichiers. Et à chaque fois, il faut modifier les 2 systèmes.

Mais sur les sites distants, on peut quand même mettre un cookie de session? On n' a pas toutes les fonctions de PWG comme pour les locaux, mais c'est possible. Ou bien, il y a d'autres contraintes?
(0001716)
laurent_duretz (developer)
2007.02.01 23:37

create_listing_file.php a été en grande partie réécrit.
Il échappe à la contraine de temps en effectuant des meta refresh (au lieu de redirect comme prévu au début).
Il a été relooké.
Il intègre en plus une fonction protect pour créer un index.php dans les répertoires d'images.

Note : penser à mettre à jour le paramètre $conf['gallery'] avant de l'utiliser.
(0001717)
rub (developer)
2007.02.02 07:03

Il y a de fortes chances que 90% des personnes ne modifient pas le create_listing_file.php pour mettre à jour le paramètre $conf['gallery'].

Il ne faudrait pas mettre par défaut "$conf['gallery'] = '../index.php';" comme dans les index.php que nous distribuons? (C'est sûrement plus gourmand en ressource car ca fait tous les répertoires mais c'est une bonne valeur par défaut).

De plus, dans nos index.php, on met aussi header( 'Request-URI', ...), header( 'Content-Location: ', ...) en plus de location. Je ne sais pas ce que ca rapporte vraiment de plus mais il faudrait peut-être faire pareil...

Sinon, je n'ai pas encore tester le gros de tes dev, c'est à dire générer les fichier XML pour un nombre important d'images.
(0001718)
niklos (reporter)
2007.02.02 09:01

Bonne nouvelle,
Je vais installer la derniére nightbuild et jetter un oeil ce week end dessus.
Je vous fait un retour dans la foulée.
Niklos
(0001719)
laurent_duretz (developer)
2007.02.02 09:10

Le $conf['gallery'] est là pour 2 choses :
1) Pouvoir afficher les icônes que j'utilise
2) Faire un lien vers la gallerie principale

REQUEST_URI ne sert que pour faire les statistiques d'un site. Je ne vois pas d'inconvénient à l'ajouter même si cela me semble superflu.
(0001720)
rub (developer)
2007.02.02 11:46

>Le $conf['gallery'] est là pour 2 choses :
>1) Pouvoir afficher les icônes que j'utilise
>2) Faire un lien vers la gallerie principale
Ok.
On ne peut pas avoir par défaut

$conf['dir_icon'] = 'http://demo.phpwebgallery.net/template/yoga/icon'; [^]
$conf['redirect_url'] = '../index.php';

A la place de $conf['gallery'].

Ceci en me disant que peu de personnes vont modifier le fichier propose dans tools.

> REQUEST_URI ne sert que pour faire les statistiques d'un site. Je ne vois pas d'inconvénient à l'ajouter même si cela me semble superflu.
Comme tu veux.
(0001721)
laurent_duretz (developer)
2007.02.02 12:05

$conf['dir_icon'] = 'http://demo.phpwebgallery.net/template/yoga/icon'; [^]
Je veux bien, mais quid du traffic sur le site de PWG ?

$conf['redirect_url'] = '../index.php';
Celle ci servirait à rediriger vers la gallerie pricipale. Ce ne peut donc pas être une URL relative.
(0001722)
rub (developer)
2007.02.02 14:33

>$conf['dir_icon'] = 'http://demo.phpwebgallery.net/template/yoga/icon'; [^] [^]
>Je veux bien, mais quid du traffic sur le site de PWG ?
Oui, je sais...
Sinon, il faut générer automatiquement le fichier create_listing_file.php avec les valeurs (url site, template par defaut)


>$conf['redirect_url'] = '../index.php';
>Celle ci servirait à rediriger vers la gallerie pricipale. Ce ne peut donc pas >être une URL relative.
Pour moi, le index.php n'est pas pour rediriger vers la galerie principale mais pour ne pas liste le contenu.
Sur ton site distant, tu peux tres bien mettre un index.php à la base qui dit que l'accès est interdit. Les "../index.php" permettront de diriger vers ce fichier.
C'est en tout comme ca que fonctionne les outils actuels
(0001723)
laurent_duretz (developer)
2007.02.02 14:59

>>$conf['dir_icon'] = 'http://demo.phpwebgallery.net/template/yoga/icon'; [^] [^] [^]
>>Je veux bien, mais quid du trafic sur le site de PWG ?
>Oui, je sais...
>Sinon, il faut générer automatiquement le fichier create_listing_file.php avec les valeurs (url site, template par défaut)
C'est une évolution du script install.php. J'ai essayé de faire quelque chose hier soir mais je n'ai pas réussi. Il faut ouvrir une demande d'amélioration.

>> $conf['redirect_url'] = '../index.php';
>> Celle ci servirait à rediriger vers la galerie principale. Ce ne peut donc pas être une URL relative.
> Pour moi, le index.php n'est pas pour rediriger vers la galerie principale mais pour ne pas liste le contenu.
> Sur ton site distant, tu peux très bien mettre un index.php à la base qui dit que l'accès est interdit. Les "../index.php" permettront de diriger vers ce fichier.

Je sais que l'utilisateur a un index.php sur son site principal. A ce jour, je ne sais pas ce qu'il y a sur son site distant.
(0001724)
rub (developer)
2007.02.02 15:08

>Je sais que l'utilisateur a un index.php sur son site principal. A ce jour, je ne sais pas ce qu'il y a sur son site distant.
Mais, perso, je trouve que par défaut c'est mieux d'avoir "../index.php" plutot que "http://" [^]
(0001726)
niklos (reporter)
2007.02.02 23:18

Bonjour,
Je dois telecharger quel build pour pouvoir tester tout cela?
(0001727)
rub (developer)
2007.02.03 08:38

> Je dois telecharger quel build pour pouvoir tester tout cela?
Il n'y en a pas pour cette partie.
Il faut faire une demande sur le forum.
(0001728)
niklos (reporter)
2007.02.04 03:11
edited on: 2007.02.04 09:44

Bonsoir,
Alors j'ai téléchargé la derniére version sur subversion.
J'ai installé tout cela sur un compte OVH, en partant de 0.
J'ai mis à jour le parametre conf[gallery] dans le ficher du repertoire tools.
J'ai uploadé mes ~8700 photos.
J'ai lancé une synchro, en simulation, sur l'ensemble des répertoires et des fichiers.
Et j'ai obtenu cela :

SELECT id, path
  FROM night_images
  WHERE storage_category_id IN (1, ..., 465)
;
[mysql error 2013] Lost connection to MySQL server during query
UPDATE night_sessions
  SET expiration = now(),
  data = 'pwg_uid|i:1;'
  WHERE id = '5f6ce724d8b3200c7a0a615d50c33ef8'
;
[mysql error 2006] MySQL server has gone away


Il me semble que je me suis gauffré dans la conf non ?


Niklos

PS: Je suis bien sur disponible pour quelques tests.
PS2: Petite précision je n'utilise pas les sites distants.

(0001729)
laurent_duretz (developer)
2007.02.04 11:22

Une url vers create_listing_file.php ?
Quelle étape plante ? la génération ou la synchronisation ?
(0001730)
niklos (reporter)
2007.02.04 11:36

Comme précité je n'utilise pas les sites distants mais juste la synchro locale.
Et j'ai l'impression que dans ce processus on n'utilise pas le fichier en question.
C'est d'ailleurs l'objet de la demande d'évolution 475.

sinon tu trouveras l'url en MP.

Niklos
(0001731)
niklos (reporter)
2007.02.04 12:12

Un peu plus de feedback:
- une fois le script posé à la racine de la gallerie, il génére bien un xml complet. -> bonne nouvelle.
- n'utilisant pas les sites distant je ne sais pas quoi faire de ce xml. :/

niklos
(0001736)
rub (developer)
2007.02.05 07:19

La modification ne concerne effectivement que les sites distants.

Une solution, c'est de déclarer ton local comme un site distant.
(0001737)
niklos (reporter)
2007.02.05 08:57

Bonjour,
J'ai bien pensé à déclarer mon local en distant.
Mais quand je veux synchroniser, il me dit que les versions de la gallerie local et distante ne sont pas les mêmes. Alors que c'est physiquement la même ...

Niklos
(0001739)
VDigital (reporter)
2007.02.05 09:04

Le forum n'est pas fait pour les...
8-)
(0001741)
niklos (reporter)
2007.02.05 13:27

Merci Vdigital,
Je continue mon feedback:
- La création du XML s'effectue bien avec les ~8767 photos.
- Le site distant une fois bien configuré (Merci Vdigital) est bien reconnu.
- Quand je lance la synchro j'arrive sur l'erreur suivante.

 INSERT INTO night_images
    (id,file,date_available,tn_ext,path,storage_category_id)
     VALUES
    ('1',...,8767 ...)

;
[mysql error 1153] Got a packet bigger than 'max_allowed_packet'

Les répertoires sont bien rentrés dans la base mais pas les photos.

Niklos

PS: Si mon retour est inutile, il faut pas hésiter à le dire....
(0001754)
rub (developer)
2007.02.09 22:33
edited on: 2007.02.09 22:37

J'ai voulu faire un test sur la demo chez free et j'ai des messages d'erreurs.

http://ruben.demo.free.fr/pwg_albums/create_listing_file2.php [^]

J'ai juste changé dedans :
$conf['gallery'] = 'http://ruben.demo.free.fr/pwg_bsf_demo'; [^]

(0001755)
niklos (reporter)
2007.02.10 09:18

Rub,
Sur ma gallerie pas ce genre de souci.

Par contre j'ai déja eu ce genre de message, c'etait mon editeur de texte et le transfert de windows vers linux qui rajouté des ctrl M a la fin.

Essaye avec le fichier d'origine.
(0001756)
VDigital (reporter)
2007.02.10 12:02

Pas de pb pour moi (???).
(0001757)
rub (developer)
2007.02.10 14:20
edited on: 2007.02.10 14:41

A priori, le transfert est OK, j'ai fait comme d'hab, mais je vais vérifier.
(J'ai vérifier c'est ok, et j'ai même passer en fin de ligne unix mais si c'est pas nécessaire des fois).

Quand vous cliquez sur le lien, pas de message d'erreur?

La, j'ai ca:
Warning: session_start() [function.session-start]: open(/mnt/138/sda/5/b/ruben.demo/sessions/sess_788b6299ccd6cf3e7cf77159e5f52558, O_RDWR) failed: No such file or directory (2) in /mnt/138/sda/5/b/ruben.demo/pwg_albums/create_listing_file2.php on line 1307

Warning: session_start() [function.session-start]: Cannot send session cookie - headers already sent by (output started at /mnt/138/sda/5/b/ruben.demo/pwg_albums/create_listing_file2.php:1307) in /mnt/138/sda/5/b/ruben.demo/pwg_albums/create_listing_file2.php on line 1307

Warning: session_start() [function.session-start]: Cannot send session cache limiter - headers already sent (output started at /mnt/138/sda/5/b/ruben.demo/pwg_albums/create_listing_file2.php:1307) in /mnt/138/sda/5/b/ruben.demo/pwg_albums/create_listing_file2.php on line 1307
Php Web Gallery distant site

    * Test
    * Clean
    * Listing
    * Protect

Powered by PhpWebGallery

Warning: Unknown(): open(/mnt/138/sda/5/b/ruben.demo/sessions/sess_788b6299ccd6cf3e7cf77159e5f52558, O_RDWR) failed: No such file or directory (2) in Unknown on line 0

Warning: Unknown(): Failed to write session data (files). Please verify that the current setting of session.save_path is correct (/mnt/138/sda/5/b/ruben.demo/sessions) in Unknown on line 0


Ma config utilisée:


        * Operating system: Linux
        * PHP: 4.4.3-dev (Show info)
        * MySQL: 5.0.27

(0001758)
niklos (reporter)
2007.02.10 15:05

Sur ton site j'ai bien cette erreur, mais pas sur le mien.

Enfin plutot plus, je l'avais mais en remettant le fichier d'origine j'ai plus l'erreur.

Niklos
(0001759)
rub (developer)
2007.02.10 15:21

> Enfin plutot plus, je l'avais mais en remettant le fichier d'origine j'ai plus l'erreur.
Quel fichier d'origine?
Une 1.6, une Alligator1, une Alligator2?
(0001760)
niklos (reporter)
2007.02.10 15:28

J'ai pris la derniére version dispo sur subversion.

Niklos
(0001762)
rub (developer)
2007.02.10 18:28

Ici, c'est la version de la BSF en cours:
http://ruben.demo.free.fr/pwg_bsf_demo/tools/create_listing_file.php [^]

Et j'ai les mêmes messages d'erreur!
(0001764)
rub (developer)
2007.02.12 13:09

Problème résolu chez Free en créant un répertoire "sessions" à la racine.
cf http://forum.phpwebgallery.net/viewtopic.php?pid=54419#p54419 [^]
(0001848)
plg (manager)
2007.05.08 00:03

laurent_duretz, peut-on clore ce "bug" ?
(0001851)
laurent_duretz (developer)
2007.05.08 10:38

Ce bug est résolu par l'utilisation du script distant sur un site local.

- Issue History
Date Modified Username Field Change
2006.07.18 17:20 niklos New Issue
2006.07.18 17:20 niklos browser => any
2006.07.18 17:20 niklos Web server => Apache 1.3.x
2006.07.20 02:10 rvelices Relationship added related to 0000122
2006.07.20 10:09 niklos Note Added: 0001251
2006.08.02 15:44 laurent_duretz Status new => assigned
2006.08.02 15:44 laurent_duretz Assigned To => laurent_duretz
2006.08.02 15:49 laurent_duretz Note Added: 0001347
2006.08.02 15:49 laurent_duretz Status assigned => confirmed
2006.08.03 20:34 laurent_duretz Status confirmed => resolved
2006.08.03 20:34 laurent_duretz Fixed in Version => 1.6.2
2006.08.03 20:34 laurent_duretz Resolution open => fixed
2006.08.03 20:34 laurent_duretz Note Added: 0001352
2006.08.25 15:55 niklos Status resolved => feedback
2006.08.25 15:55 niklos Resolution fixed => reopened
2006.08.25 15:55 niklos Note Added: 0001409
2006.08.25 17:21 plg Note Edited: 0001352
2006.08.25 17:24 plg Note Added: 0001410
2006.08.25 17:25 plg Assigned To laurent_duretz =>
2006.08.25 17:25 plg Status feedback => acknowledged
2006.08.25 21:22 niklos Note Added: 0001411
2006.08.27 09:06 Dudu Note Added: 0001412
2006.08.28 10:26 plg Relationship added related to 0000521
2006.12.29 22:31 niklos Note Added: 0001610
2006.12.30 10:45 laurent_duretz Note Added: 0001613
2006.12.30 10:52 niklos Note Added: 0001614
2007.01.09 09:25 plg Assigned To => laurent_duretz
2007.01.09 09:25 plg Fixed in Version 1.6.2 =>
2007.01.09 09:25 plg Additional Information Updated
2007.01.09 18:10 rub Note Added: 0001642
2007.01.10 00:45 rvelices Note Added: 0001643
2007.01.10 06:54 rub Note Added: 0001646
2007.02.01 23:37 laurent_duretz Status acknowledged => resolved
2007.02.01 23:37 laurent_duretz Fixed in Version => Alligator 2
2007.02.01 23:37 laurent_duretz Resolution reopened => fixed
2007.02.01 23:37 laurent_duretz Note Added: 0001716
2007.02.02 07:03 rub Status resolved => feedback
2007.02.02 07:03 rub Resolution fixed => reopened
2007.02.02 07:03 rub Note Added: 0001717
2007.02.02 09:01 niklos Note Added: 0001718
2007.02.02 09:10 laurent_duretz Note Added: 0001719
2007.02.02 11:46 rub Note Added: 0001720
2007.02.02 12:05 laurent_duretz Note Added: 0001721
2007.02.02 14:33 rub Note Added: 0001722
2007.02.02 14:59 laurent_duretz Note Added: 0001723
2007.02.02 15:08 rub Note Added: 0001724
2007.02.02 23:18 niklos Note Added: 0001726
2007.02.03 08:38 rub Note Added: 0001727
2007.02.04 03:11 niklos Note Added: 0001728
2007.02.04 03:12 niklos Note Edited: 0001728
2007.02.04 09:44 niklos Note Edited: 0001728
2007.02.04 11:22 laurent_duretz Note Added: 0001729
2007.02.04 11:36 niklos Note Added: 0001730
2007.02.04 12:12 niklos Note Added: 0001731
2007.02.05 07:19 rub Note Added: 0001736
2007.02.05 08:57 niklos Note Added: 0001737
2007.02.05 09:04 VDigital Note Added: 0001739
2007.02.05 13:27 niklos Note Added: 0001741
2007.02.09 22:33 rub Note Added: 0001754
2007.02.09 22:37 rub Note Edited: 0001754
2007.02.10 09:18 niklos Note Added: 0001755
2007.02.10 12:02 VDigital Note Added: 0001756
2007.02.10 14:20 rub Note Added: 0001757
2007.02.10 14:41 rub Note Edited: 0001757
2007.02.10 15:05 niklos Note Added: 0001758
2007.02.10 15:21 rub Note Added: 0001759
2007.02.10 15:28 niklos Note Added: 0001760
2007.02.10 18:28 rub Note Added: 0001762
2007.02.12 13:09 rub Note Added: 0001764
2007.05.08 00:03 plg Note Added: 0001848
2007.05.08 10:38 laurent_duretz Status feedback => closed
2007.05.08 10:38 laurent_duretz Note Added: 0001851
2007.05.08 10:38 laurent_duretz Resolution reopened => fixed
2007.05.08 10:38 laurent_duretz Fixed in Version Alligator 2 => 1.7.0


Mantis 1.1.6[^]
Copyright © 2000 - 2008 Mantis Group
Contact
Powered by Mantis Bugtracker