source: trunk/admin/update.php @ 691

Last change on this file since 691 was 691, checked in by plg, 20 years ago
  • no debug output in synchronization process (replaced by HTML comments, information is still available)
  • when showing result of a simulation, also displays the form with values given for simulation. Admin can perform another simulation or uncheck the simulation option
  • Property svn:eol-style set to native
  • Property svn:keywords set to Author Date Id Revision
File size: 20.8 KB
Line 
1<?php
2// +-----------------------------------------------------------------------+
3// | PhpWebGallery - a PHP based picture gallery                           |
4// | Copyright (C) 2002-2003 Pierrick LE GALL - pierrick@phpwebgallery.net |
5// | Copyright (C) 2003-2005 PhpWebGallery Team - http://phpwebgallery.net |
6// +-----------------------------------------------------------------------+
7// | branch        : BSF (Best So Far)
8// | file          : $RCSfile$
9// | last update   : $Date: 2005-01-15 10:31:26 +0000 (Sat, 15 Jan 2005) $
10// | last modifier : $Author: plg $
11// | revision      : $Revision: 691 $
12// +-----------------------------------------------------------------------+
13// | This program is free software; you can redistribute it and/or modify  |
14// | it under the terms of the GNU General Public License as published by  |
15// | the Free Software Foundation                                          |
16// |                                                                       |
17// | This program is distributed in the hope that it will be useful, but   |
18// | WITHOUT ANY WARRANTY; without even the implied warranty of            |
19// | MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU      |
20// | General Public License for more details.                              |
21// |                                                                       |
22// | You should have received a copy of the GNU General Public License     |
23// | along with this program; if not, write to the Free Software           |
24// | Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, |
25// | USA.                                                                  |
26// +-----------------------------------------------------------------------+
27
28if (!defined('PHPWG_ROOT_PATH'))
29{
30  die ('Hacking attempt!');
31}
32include_once( PHPWG_ROOT_PATH.'admin/include/isadmin.inc.php');
33
34define('CURRENT_DATE', date('Y-m-d'));
35$error_labels = array('PWG-UPDATE-1' => $lang['update_wrong_dirname_short'],
36                      'PWG-UPDATE-2' => $lang['update_missing_tn_short']);
37$errors = array();
38$infos = array();
39// +-----------------------------------------------------------------------+
40// |                      directories / categories                         |
41// +-----------------------------------------------------------------------+
42if (isset($_POST['submit'])
43    and ($_POST['sync'] == 'dirs' or $_POST['sync'] == 'files'))
44{
45  $counts['new_categories'] = 0;
46  $counts['del_categories'] = 0;
47  $counts['del_elements'] = 0;
48  $counts['new_elements'] = 0;
49
50  // shall we simulate only
51  if (isset($_POST['simulate']) and $_POST['simulate'] == 1)
52  {
53    $simulate = true;
54  }
55  else
56  {
57    $simulate = false;
58  }
59 
60  $start = get_moment();
61  // which categories to update ?
62  $cat_ids = array();
63
64  $query = '
65SELECT id, uppercats, global_rank, status, visible
66  FROM '.CATEGORIES_TABLE.'
67  WHERE dir IS NOT NULL
68    AND site_id = 1';
69  if (isset($_POST['cat']) and is_numeric($_POST['cat']))
70  {
71    if (isset($_POST['subcats-included']) and $_POST['subcats-included'] == 1)
72    {
73      $query.= '
74    AND uppercats REGEXP \'(^|,)'.$_POST['cat'].'(,|$)\'
75';
76    }
77    else
78    {
79      $query.= '
80    AND id = '.$_POST['cat'].'
81';
82    }
83  }
84  $query.= '
85;';
86  $result = pwg_query($query);
87
88  $db_categories = array();
89  while ($row = mysql_fetch_array($result))
90  {
91    $db_categories[$row['id']] = $row;
92  }
93
94  // get categort full directories in an array for comparison with file
95  // system directory tree
96  $db_fulldirs = get_fulldirs(array_keys($db_categories));
97 
98  // what is the base directory to search file system sub-directories ?
99  if (isset($_POST['cat']) and is_numeric($_POST['cat']))
100  {
101    $basedir = $db_fulldirs[$_POST['cat']];
102  }
103  else
104  {
105    $query = '
106SELECT galleries_url
107  FROM '.SITES_TABLE.'
108  WHERE id = 1
109;';
110    list($galleries_url) = mysql_fetch_array(pwg_query($query));
111    $basedir = preg_replace('#/*$#', '', $galleries_url);
112  }
113
114  // we need to have fulldirs as keys to make efficient comparison
115  $db_fulldirs = array_flip($db_fulldirs);
116
117  // finding next rank for each id_uppercat
118  $next_rank['NULL'] = 1;
119 
120  $query = '
121SELECT id_uppercat, MAX(rank)+1 AS next_rank
122  FROM '.CATEGORIES_TABLE.'
123  GROUP BY id_uppercat
124;';
125  $result = pwg_query($query);
126  while ($row = mysql_fetch_array($result))
127  {
128    // for the id_uppercat NULL, we write 'NULL' and not the empty string
129    if (!isset($row['id_uppercat']) or $row['id_uppercat'] == '')
130    {
131      $row['id_uppercat'] = 'NULL';
132    }
133    $next_rank[$row['id_uppercat']] = $row['next_rank'];
134  }
135 
136  // next category id available
137  $query = '
138SELECT IF(MAX(id)+1 IS NULL, 1, MAX(id)+1) AS next_id
139  FROM '.CATEGORIES_TABLE.'
140;';
141  list($next_id) = mysql_fetch_array(pwg_query($query));
142
143  // retrieve file system sub-directories fulldirs
144  $fs_fulldirs = get_fs_directories($basedir);
145  // get_fs_directories doesn't include the base directory, so if it's a
146  // category directory, we need to include it in our array
147  if (isset($_POST['cat']))
148  {
149    array_push($fs_fulldirs, $basedir);
150  }
151 
152  $inserts = array();
153  // new categories are the directories not present yet in the database
154  foreach (array_diff($fs_fulldirs, array_keys($db_fulldirs)) as $fulldir)
155  {
156    $dir = basename($fulldir);
157    if (preg_match('/^[a-zA-Z0-9-_.]+$/', $dir))
158    {
159      $insert = array();
160     
161      $insert{'id'} = $next_id++;
162      $insert{'dir'} = $dir;
163      $insert{'name'} = str_replace('_', ' ', $dir);
164      $insert{'site_id'} = 1;
165      $insert{'commentable'} = $conf['newcat_default_commentable'];
166      $insert{'uploadable'} = $conf['newcat_default_uploadable'];
167      $insert{'status'} = $conf{'newcat_default_status'};
168      $insert{'visible'} = $conf{'newcat_default_visible'};
169
170      if (isset($db_fulldirs[dirname($fulldir)]))
171      {
172        $parent = $db_fulldirs[dirname($fulldir)];
173
174        $insert{'id_uppercat'} = $parent;
175        $insert{'uppercats'} =
176          $db_categories[$parent]['uppercats'].','.$insert{'id'};
177        $insert{'rank'} = $next_rank[$parent]++;
178        $insert{'global_rank'} =
179          $db_categories[$parent]['global_rank'].'.'.$insert{'rank'};
180        if ('private' == $db_categories[$parent]['status'])
181        {
182          $insert{'status'} = 'private';
183        }
184        if ('false' == $db_categories[$parent]['visible'])
185        {
186          $insert{'visible'} = 'false';
187        }
188      }
189      else
190      {
191        $insert{'uppercats'} = $insert{'id'};
192        $insert{'rank'} = $next_rank['NULL']++;
193        $insert{'global_rank'} = $insert{'rank'};
194      }
195
196      array_push($inserts, $insert);
197      array_push($infos, array('path' => $fulldir,
198                               'info' => $lang['update_research_added']));
199
200      // add the new category to $db_categories and $db_fulldirs array
201      $db_categories[$insert{'id'}] =
202        array(
203          'id' => $insert{'id'},
204          'status' => $insert{'status'},
205          'visible' => $insert{'visible'},
206          'uppercats' => $insert{'uppercats'},
207          'global_rank' => $insert{'global_rank'}
208          );
209      $db_fulldirs[$fulldir] = $insert{'id'};
210      $next_rank[$insert{'id'}] = 1;
211    }
212    else
213    {
214      array_push($errors, array('path' => $fulldir, 'type' => 'PWG-UPDATE-1'));
215    }
216  }
217
218  if (count($inserts) > 0)
219  {
220    if (!$simulate)
221    {
222      $dbfields = array(
223        'id','dir','name','site_id','id_uppercat','uppercats','commentable',
224        'uploadable','visible','status','rank','global_rank'
225        );
226      mass_inserts(CATEGORIES_TABLE, $dbfields, $inserts);
227    }
228   
229    $counts['new_categories'] = count($inserts);
230  }
231
232  // to delete categories
233  $to_delete = array();
234  foreach (array_diff(array_keys($db_fulldirs), $fs_fulldirs) as $fulldir)
235  {
236    array_push($to_delete, $db_fulldirs[$fulldir]);
237    unset($db_fulldirs[$fulldir]);
238    array_push($infos, array('path' => $fulldir,
239                             'info' => $lang['update_research_deleted']));
240  }
241  if (count($to_delete) > 0)
242  {
243    if (!$simulate)
244    {
245      delete_categories($to_delete);
246    }
247    $counts['del_categories'] = count($to_delete);
248  }
249 
250  echo '<!-- scanning dirs : ';
251  echo get_elapsed_time($start, get_moment());
252  echo ' -->'."\n";
253}
254// +-----------------------------------------------------------------------+
255// |                           files / elements                            |
256// +-----------------------------------------------------------------------+
257if (isset($_POST['submit']) and $_POST['sync'] == 'files')
258{ 
259  $start_files = get_moment();
260  $start= $start_files;
261
262  $fs = get_fs($basedir);
263 
264  echo '<!-- get_fs : '.get_elapsed_time($start, get_moment()).' -->'."\n";
265 
266  $cat_ids = array_diff(array_keys($db_categories), $to_delete);
267
268  $db_elements = array();
269  $db_unvalidated = array();
270 
271  if (count($cat_ids) > 0)
272  {
273    $query = '
274SELECT id, path
275  FROM '.IMAGES_TABLE.'
276  WHERE storage_category_id IN (
277'.wordwrap(implode(', ', $cat_ids), 80, "\n").')
278;';
279    $result = pwg_query($query);
280    while ($row = mysql_fetch_array($result))
281    {
282      $db_elements[$row['id']] = $row['path'];
283    }
284
285    // searching the unvalidated waiting elements (they must not be taken into
286    // account)
287    $query = '
288SELECT file,storage_category_id
289  FROM '.WAITING_TABLE.'
290  WHERE storage_category_id IN (
291'.wordwrap(implode(', ', $cat_ids), 80, "\n").')
292    AND validated = \'false\'
293;';
294    $result = pwg_query($query);
295    while ($row = mysql_fetch_array($result))
296    {
297      array_push(
298        $db_unvalidated,
299        array_search($row['storage_category_id'],
300                     $db_fulldirs).'/'.$row['file']
301        );
302    }
303  }
304
305  // next element id available
306  $query = '
307SELECT IF(MAX(id)+1 IS NULL, 1, MAX(id)+1) AS next_element_id
308  FROM '.IMAGES_TABLE.'
309;';
310  list($next_element_id) = mysql_fetch_array(pwg_query($query));
311
312  $start = get_moment();
313
314  // because isset is one hundred time faster than in_array
315  $fs['thumbnails'] = array_flip($fs['thumbnails']);
316  $fs['representatives'] = array_flip($fs['representatives']);
317 
318  $inserts = array();
319  $insert_links = array();
320 
321  foreach (array_diff($fs['elements'], $db_elements, $db_unvalidated) as $path)
322  {
323    $insert = array();
324    // storage category must exist
325    $dirname = dirname($path);
326    if (!isset($db_fulldirs[$dirname]))
327    {
328      continue;
329    }
330    $filename = basename($path);
331    if (!preg_match('/^[a-zA-Z0-9-_.]+$/', $filename))
332    {
333      array_push($errors, array('path' => $path, 'type' => 'PWG-UPDATE-1'));
334      continue;
335    }
336
337    // searching the thumbnail
338    $filename_wo_ext = get_filename_wo_extension($filename);
339    $tn_ext = '';
340    $base_test = $dirname.'/thumbnail/';
341    $base_test.= $conf['prefix_thumbnail'].$filename_wo_ext.'.';
342    foreach ($conf['picture_ext'] as $ext)
343    {
344      $test = $base_test.$ext;
345      if (isset($fs['thumbnails'][$test]))
346      {
347        $tn_ext = $ext;
348        break;
349      }
350    }
351
352    // 2 cases : the element is a picture or not. Indeed, for a picture
353    // thumbnail is mandatory and for non picture element, thumbnail and
354    // representative are optionnal
355    if (in_array(get_extension($filename), $conf['picture_ext']))
356    {
357      // if we found a thumnbnail corresponding to our picture...
358      if ($tn_ext != '')
359      {
360        $insert{'id'} = $next_element_id++;
361        $insert{'file'} = $filename;
362        $insert{'storage_category_id'} = $db_fulldirs[$dirname];
363        $insert{'date_available'} = CURRENT_DATE;
364        $insert{'tn_ext'} = $tn_ext;
365        $insert{'path'} = $path;
366
367        array_push($inserts, $insert);
368        array_push($insert_links,
369                   array('image_id' => $insert{'id'},
370                         'category_id' => $insert{'storage_category_id'}));
371        array_push($infos, array('path' => $insert{'path'},
372                                 'info' => $lang['update_research_added']));
373      }
374      else
375      {
376        array_push($errors, array('path' => $path, 'type' => 'PWG-UPDATE-2'));
377      }
378    }
379    else
380    {
381      // searching a representative
382      $representative_ext = '';
383      $base_test = $dirname.'/pwg_representative/'.$filename_wo_ext.'.';
384      foreach ($conf['picture_ext'] as $ext)
385      {
386        $test = $base_test.$ext;
387        if (isset($fs['representatives'][$test]))
388        {
389          $representative_ext = $ext;
390          break;
391        }
392      }
393
394      $insert{'id'} = $next_element_id++;
395      $insert{'file'} = $filename;
396      $insert{'storage_category_id'} = $db_fulldirs[$dirname];
397      $insert{'date_available'} = CURRENT_DATE;
398      $insert{'path'} = $path;
399       
400      if ($tn_ext != '')
401      {
402        $insert{'tn_ext'} = $tn_ext;
403      }
404      if ($representative_ext != '')
405      {
406        $insert{'representative_ext'} = $representative_ext;
407      }
408     
409      array_push($inserts, $insert);
410      array_push($insert_links,
411                 array('image_id' => $insert{'id'},
412                       'category_id' => $insert{'storage_category_id'}));
413      array_push($infos, array('path' => $insert{'path'},
414                               'info' => $lang['update_research_added']));
415    }
416  }
417
418  if (count($inserts) > 0)
419  {
420    if (!$simulate)
421    {
422      // inserts all new elements
423      $dbfields = array(
424        'id','file','storage_category_id','date_available','tn_ext'
425        ,'representative_ext','path'
426        );
427      mass_inserts(IMAGES_TABLE, $dbfields, $inserts);
428
429      // insert all links between new elements and their storage category
430      $dbfields = array('image_id','category_id');
431      mass_inserts(IMAGE_CATEGORY_TABLE, $dbfields, $insert_links);
432    }
433    $counts['new_elements'] = count($inserts);
434  }
435
436  // delete elements that are in database but not in the filesystem
437  $to_delete_elements = array();
438  foreach (array_diff($db_elements, $fs['elements']) as $path)
439  {
440    array_push($to_delete_elements, array_search($path, $db_elements));
441    array_push($infos, array('path' => $path,
442                             'info' => $lang['update_research_deleted']));
443  }
444  if (count($to_delete_elements) > 0)
445  {
446    if (!$simulate)
447    {
448      delete_elements($to_delete_elements);
449    }
450    $counts['del_elements'] = count($to_delete_elements);
451  }
452 
453  echo '<!-- scanning files : ';
454  echo get_elapsed_time($start_files, get_moment());
455  echo ' -->'."\n";
456}
457// +-----------------------------------------------------------------------+
458// |                        template initialization                        |
459// +-----------------------------------------------------------------------+
460$template->set_filenames(array('update'=>'admin/update.tpl'));
461
462$result_title = '';
463if (isset($simulate) and $simulate)
464{
465  $result_title.= $lang['update_simulation_title'].' ';
466}
467$result_title.= $lang['update_part_research'];
468
469$template->assign_vars(
470  array(
471    'L_SUBMIT'=>$lang['submit'],
472    'L_RESET'=>$lang['reset'],
473    'L_UPDATE_TITLE'=>$lang['update_default_title'],
474    'L_UPDATE_SYNC_FILES'=>$lang['update_sync_files'],
475    'L_UPDATE_SYNC_DIRS'=>$lang['update_sync_dirs'],
476    'L_UPDATE_SYNC_ALL'=>$lang['update_sync_all'],
477    'L_UPDATE_SYNC_METADATA'=>$lang['update_sync_metadata'],
478    'L_UPDATE_SYNC_METADATA_NEW'=>$lang['update_sync_metadata_new'],
479    'L_UPDATE_SYNC_METADATA_ALL'=>$lang['update_sync_metadata_all'],
480    'L_UPDATE_CATS_SUBSET'=>$lang['update_cats_subset'],
481    'L_RESULT_UPDATE'=>$result_title,
482    'L_NB_NEW_ELEMENTS'=>$lang['update_nb_new_elements'],
483    'L_NB_NEW_CATEGORIES'=>$lang['update_nb_new_categories'],
484    'L_NB_DEL_ELEMENTS'=>$lang['update_nb_del_elements'],
485    'L_NB_DEL_CATEGORIES'=>$lang['update_nb_del_categories'],
486    'L_UPDATE_NB_ERRORS'=>$lang['update_nb_errors'],
487    'L_SEARCH_SUBCATS_INCLUDED'=>$lang['search_subcats_included'],
488    'L_UPDATE_WRONG_DIRNAME_INFO'=>$lang['update_wrong_dirname_info'],
489    'L_UPDATE_MISSING_TN_INFO'=>$lang['update_missing_tn_info'],
490    'PICTURE_EXT_LIST'=>implode(',', $conf['picture_ext']),
491    'L_UPDATE_ERROR_LIST_TITLE'=>$lang['update_error_list_title'],
492    'L_UPDATE_ERRORS_CAPTION'=>$lang['update_errors_caption'],
493    'L_UPDATE_DISPLAY_INFO'=>$lang['update_display_info'],
494    'L_UPDATE_SIMULATE'=>$lang['update_simulate'],
495    'L_UPDATE_INFOS_TITLE'=>$lang['update_infos_title']
496    ));
497// +-----------------------------------------------------------------------+
498// |                        introduction : choices                         |
499// +-----------------------------------------------------------------------+
500if (!isset($_POST['submit']) or (isset($simulate) and $simulate))
501{
502  $template->assign_block_vars('introduction', array());
503
504  if (isset($simulate) and $simulate)
505  {
506    switch ($_POST['sync'])
507    {
508      case 'dirs' :
509      {
510        $template->assign_vars(
511          array('SYNC_DIRS_CHECKED'=>'checked="checked"'));
512        break;
513      }
514      case 'files' :
515      {
516        $template->assign_vars(
517          array('SYNC_ALL_CHECKED'=>'checked="checked"'));
518        break;
519      }
520    }
521
522    if (isset($_POST['display_info']) and $_POST['display_info'] == 1)
523    {
524      $template->assign_vars(
525        array('DISPLAY_INFO_CHECKED'=>'checked="checked"'));
526    }
527
528    if (isset($_POST['subcats-included']) and $_POST['subcats-included'] == 1)
529    {
530      $template->assign_vars(
531        array('SUBCATS_INCLUDED_CHECKED'=>'checked="checked"'));
532    }
533
534    if (isset($_POST['cat']) and is_numeric($_POST['cat']))
535    {
536      $cat_selected = array($_POST['cat']);
537    }
538    else
539    {
540      $cat_selected = array();
541    }
542  }
543  else
544  {
545    $template->assign_vars(
546      array('SYNC_DIRS_CHECKED' => 'checked="checked"',
547            'SUBCATS_INCLUDED_CHECKED'=>'checked="checked"'));
548
549    $cat_selected = array();
550  }
551
552  $query = '
553SELECT id,name,uppercats,global_rank
554  FROM '.CATEGORIES_TABLE.'
555  WHERE site_id = 1
556;';
557  display_select_cat_wrapper($query,
558                             $cat_selected,
559                             'introduction.category_option',
560                             false);
561}
562// +-----------------------------------------------------------------------+
563// |                          synchronize files                            |
564// +-----------------------------------------------------------------------+
565if (isset($_POST['submit'])
566    and ($_POST['sync'] == 'dirs' or $_POST['sync'] == 'files'))
567{
568  $template->assign_block_vars(
569    'update',
570    array(
571      'NB_NEW_CATEGORIES'=>$counts['new_categories'],
572      'NB_DEL_CATEGORIES'=>$counts['del_categories'],
573      'NB_NEW_ELEMENTS'=>$counts['new_elements'],
574      'NB_DEL_ELEMENTS'=>$counts['del_elements'],
575      'NB_ERRORS'=>count($errors),
576      ));
577 
578  if (count($errors) > 0)
579  {
580    $template->assign_block_vars('update.errors', array());
581    foreach ($errors as $error)
582    {
583      $template->assign_block_vars(
584        'update.errors.error',
585        array(
586          'ELEMENT' => $error['path'],
587          'LABEL' => $error['type'].' ('.$error_labels[$error['type']].')'
588          ));
589    }
590  }
591  if (count($infos) > 0
592      and isset($_POST['display_info'])
593      and $_POST['display_info'] == 1)
594  {
595    $template->assign_block_vars('update.infos', array());
596    foreach ($infos as $info)
597    {
598      $template->assign_block_vars(
599        'update.infos.info',
600        array(
601          'ELEMENT' => $info['path'],
602          'LABEL' => $info['info']
603          ));
604    }
605  }
606
607  if (!$simulate)
608  {
609    $start = get_moment();
610    update_category('all');
611    echo '<!-- update_category(all) : ';
612    echo get_elapsed_time($start,get_moment());
613    echo ' -->'."\n";
614    $start = get_moment();
615    ordering();
616    update_global_rank();
617    echo '<!-- ordering categories : ';
618    echo get_elapsed_time($start, get_moment());
619    echo ' -->'."\n";
620  }
621}
622// +-----------------------------------------------------------------------+
623// |                          synchronize metadata                         |
624// +-----------------------------------------------------------------------+
625else if (isset($_POST['submit']) and preg_match('/^metadata/', $_POST['sync']))
626{
627  // sync only never synchronized files ?
628  if ($_POST['sync'] == 'metadata_new')
629  {
630    $opts['only_new'] = true;
631  }
632  else
633  {
634    $opts['only_new'] = false;
635  }
636  $opts['category_id'] = '';
637  $opts['recursive'] = true;
638 
639  if (isset($_POST['cat']))
640  {
641    $opts['category_id'] = $_POST['cat'];
642    // recursive ?
643    if (!isset($_POST['subcats-included']) or $_POST['subcats-included'] != 1)
644    {
645      $opts['recursive'] = false;
646    }
647  }
648  $start = get_moment();
649  $files = get_filelist($opts['category_id'],
650                        $opts['recursive'],
651                        $opts['only_new']);
652 
653  echo '<!-- get_filelist : ';
654  echo get_elapsed_time($start, get_moment());
655  echo ' -->'."\n";
656 
657  $start = get_moment();
658  update_metadata($files);
659  echo '<!-- metadata update : ';
660  echo get_elapsed_time($start, get_moment());
661  echo ' -->'."\n";
662}
663// +-----------------------------------------------------------------------+
664// |                          sending html code                            |
665// +-----------------------------------------------------------------------+
666$template->assign_var_from_handle('ADMIN_CONTENT', 'update');
667?>
Note: See TracBrowser for help on using the repository browser.