linux-fedora9-packaging-updates-20080422
[openafs.git] / src / packaging / RedHat / mockbuild.pl
1 #!/usr/bin/perl
2 # mockbuild - mass RPM build driver for use with mock and many kernel-devel
3 #             RPMs
4 # from Simon Wilkinson for OpenAFS
5 # for "modern" yum, use "showdupesfromrepos=1" in all cfg files in /etc/mock
6
7 use strict;
8 use warnings;
9
10 use Getopt::Long;
11 use File::Path;
12 use IO::Dir;
13
14 my $suser="nsu";
15 my $rootbase="/var/lib/mock/";
16 my $resultbase="/tmp/result/";
17 my $stashbase="/disk/scratch/repository/";
18 my $mockcommand = "/usr/bin/mock";
19 my $buildall = 0;
20 my $ignorerelease = 1;
21 my @newrpms;
22
23 # Words cannot describe how gross this is. Yum no longer provides usable
24 # output, so we need to call the python interface. At some point this
25 # probably means this script should be entirely rewritten in python,
26 # but this is not that point.
27
28 sub findKernelModules {
29   my ($root, $uname, @modules) = @_;
30
31   my $modlist = join(",",map { "'".$_."'" } @modules);
32   my $python = <<EOS;
33 import yum;
34 import sys;
35 base = yum.YumBase();
36 base.doConfigSetup('$root/etc/yum.conf', '$root');
37 base.doRepoSetup();
38 base.doSackSetup();
39 EOS
40
41   if ($uname) {
42     $python.= <<EOS;
43
44 for pkg, values in base.searchPackageProvides(['kernel-devel-uname-r']).items():
45   if values[0].find('kernel-devel-uname-r = ') != -1:
46     print '%s.%s %s' % (pkg.name, pkg.arch, values[0].replace('kernel-devel-uname-r = ',''));
47
48 EOS
49   } else {
50     $python.= <<EOS;
51
52 print '\\n'.join(['%s.%s %s' % (x.name, x.arch, x.printVer()) for x in base.searchPackageProvides([$modlist]).keys()]);
53
54 EOS
55   }
56
57 #  my $output = `$suser -c "python -c \\\"$python\\\"" `;
58   my $output = `python -c "$python"`;
59
60   die "Python script to figure out available kernels failed : $output" 
61     if $?;
62
63   return $output;
64 }
65
66
67 my %platconf = ( "fedora-5-i386" => { osver => "fc5",
68                                       kmod => '1',
69                                       basearch => 'i386',
70                                       updaterepo => 'updates-released',
71                                       results => 'fc5/i386' },
72                  "fedora-5-x86_64" => { osver => "fc5",
73                                        kmod => '1',
74                                        basearch => 'x86_64',
75                                        updaterepo => 'updates-released',
76                                        results => 'fc5/x86_64' },
77                  "fedora-6-i386" => { osver => "fc6", 
78                                       kmod => '1', 
79                                       basearch => 'i386',
80                                       updaterepo => 'updates-released',
81                                       results => "fc6/i386" },
82                  "fedora-6-x86_64" => { osver => "fc6",
83                                         kmod => '1',
84                                         basearch => 'x86_64',
85                                         updaterepo => 'updates-released',
86                                         results => "fc6/x86_64" },
87                  "fedora-7-i386" => { osver => "fc7", 
88                                       kmod => '1', 
89                                       basearch => 'i386',
90                                       updaterepo => 'updates-released',
91                                       results => "fc7/i386" },
92                  "fedora-7-x86_64" => { osver => "fc7",
93                                         kmod => '1',
94                                         basearch => 'x86_64',
95                                         updaterepo => 'updates-released',
96                                         results => "fc7/x86_64" },
97                  "fedora-8-i386" => { osver => "fc8", 
98                                       kmod => '1', 
99                                       basearch => 'i386',
100                                       updaterepo => 'updates-released',
101                                       results => "fc8/i386" },
102                  "fedora-8-x86_64" => { osver => "fc8",
103                                         kmod => '1',
104                                         basearch => 'x86_64',
105                                         updaterepo => 'updates-released',
106                                         results => "fc8/x86_64" },
107                  "centos-4-i386" => { osver => "el4",
108                                      kmod => '1',
109                                      basearch => 'i386',
110                                      updaterepo => 'update',
111                                      results => 'el4/i386' },
112                  "centos-4-x86_64" => { osver => "el4",
113                                        kmod => '1',
114                                        basearch => 'x86_64',
115                                        updaterepo => 'update',
116                                        results => "el4/x86_64" },
117                  "centos-5-i386" => { osver => "el5", 
118                                       kmod => '1', 
119                                       basearch => 'i386',
120                                       updaterepo => 'update',
121                                       results => "el5/i386" },
122                  "centos-5-x86_64" => { osver => "el5",
123                                         kmod => '1',
124                                         basearch => 'x86_64',
125                                         updaterepo => 'update',
126                                         results => "el5/x86_64" },
127                  "fedora-development-i386" => { osver => "fcd",
128                                           kmod => '1',
129                                           basearch => 'i386',
130                                           results => 'fedora-devel/i386'},
131                  "fedora-development-x86_64" => { osver => "fcd",
132                                             kmod => '1',
133                                             basearch => 'x86_64',
134                                             results => 'fedora-devel/x86_64'} 
135 );
136
137 # The following are kernels that we can't successfully build modules against
138 # due to issues in the packaged kernel-devel RPM.
139
140 my %badkernels = (
141         "2.6.21-2950.fc8" => { "xen" => 1}, # Missing build ID
142 );
143
144 my $help;
145 my $ok = GetOptions("resultdir=s" => \$resultbase,
146                     "help" => \$help);
147
148 my @platforms = @ARGV;
149 my $srpm = pop @platforms;
150
151 if (!$ok || $help || !$srpm || $#platforms==-1) {
152   print "Usage: $0 [options] <platform> [<platform> [...]]  <srpm>\n";
153   print "    Options are : \n";
154   print "         --resultdir <dir>    Location to place output RPMS\n";
155   print "\n";
156   print "    Platform may be:\n";
157   foreach ("all", sort(keys(%platconf))) { print "        ".$_."\n"; };
158   exit(1);
159 }
160
161 my $oafsversion = `rpm -q --queryformat=%{VERSION} -p $srpm` or die $!;
162 chomp $oafsversion;
163 my $oafsrelease = `rpm -q --queryformat=%{RELEASE} -p $srpm` or die $!;
164 chomp $oafsrelease;
165 $oafsrelease=~s/^[^\.]*\.(.*)$/$1/;
166
167 print "Release is $oafsrelease\n";
168
169 if ($platforms[0] eq "all" and $#platforms == 0) {
170   @platforms = keys(%platconf);
171 }
172
173 foreach my $platform (@platforms) {
174   print "*******************************************************************\n";
175   print "Building for $platform\n";
176   die "Unknown platform $platform" if !$platconf{$platform};
177   my $osver = $platconf{$platform}{'osver'};
178   my $root = $rootbase.$platform."/root";
179   my $mockresults = $rootbase.$platform."/result";
180   my $resultdir = $resultbase.$platconf{$platform}{'results'};
181   my $basearch = $platconf{$platform}{'basearch'};
182   my $rpmstashdir = $stashbase.$platconf{$platform}{'results'}."/";
183
184   my $yumcachedir;
185   if (exists($platconf{$platform}{'updaterepo'})) {
186     $yumcachedir = $rootbase."cache/".$platform."/yum_cache/".
187                    $platconf{$platform}{'updaterepo'}."/packages/";
188   }
189
190   File::Path::mkpath($resultdir, 0, 0755);
191
192   if (system($mockcommand, "-r", $platform, "init") != 0) {
193     die "Initialising the root failed: $?\n";
194   }
195
196   my %modulelist;
197
198   print "-------------------------------------------------------------------\n";
199   print "Finding available kernel modules\n";
200
201   my $arbitraryversion = "";
202
203   my $modules;
204   if ($platform=~/fedora-development/) {
205     $modules = findKernelModules($root, 0, "kernel-devel");
206   } elsif ($platform=~/centos-4/) {
207     $modules = findKernelModules($root, 0, "kernel-devel", "kernel-smp-devel", 
208                                  "kernel-hugemem-devel", "kernel-xenU-devel");
209   } else {
210     $modules = findKernelModules($root, 0, 'kernel-devel');
211   }
212
213   foreach my $module (split(/\n/, $modules)) {
214       chomp $module;
215       my ($package, $version, $repo)=split(/\s+/, $module);
216       my ($arch) = ($package=~/\.(.*)$/);
217       my ($variant) = ($package=~/kernel-(.*)-devel/);
218       $variant = "" if !defined($variant);
219       next if ($package !~ /^kernel/);
220       next if ($arch eq "noarch");
221       next 
222           if (exists($badkernels{$version}) && ($badkernels{$version}{$variant}));
223       if ($platform=~/fedora-5/) {
224           next if ($variant eq "xen0"); # Fedora 5 has some bad xen0 kernel-devels
225           next if ($variant eq "smp");
226       }
227       if ($platform=~/fedora-8/ || $platform=~/fedora-9/ || $platform=~/fedora-development/) {
228           next if ($variant =~/debug$/); # Fedora 8 debug kernels are bad
229       }
230       print "$arch : $variant : $version\n";
231       $modulelist{$arch} ={} if !$modulelist{$arch};
232       $modulelist{$arch}{$version} = {} if !$modulelist{$arch}{$version};
233       $modulelist{$arch}{$version}{$variant} = 1;
234       $arbitraryversion = $version;
235   }
236
237   if (!$arbitraryversion) {
238     die "Unable to find a valid kernel-devel package for $platform\n";
239   }
240
241   print "-------------------------------------------------------------------\n";
242   print "Building the userland RPMs\n";
243   my @rpms = ('', '-authlibs', '-authlibs-devel', '-client', '-compat',
244               '-debuginfo', '-devel', '-docs', '-kernel-source', '-kpasswd',
245               '-krb5', '-server');
246
247   my $missing = 0;
248   foreach my $rpm (@rpms) {
249     if (! -f $resultdir."/openafs".$rpm."-".$oafsversion."-".$osver.".".
250              $oafsrelease.".".$basearch.".rpm") {
251       $missing++;
252       print $resultdir."/openafs".$rpm."-".$oafsversion."-".$osver.".".
253             $oafsrelease.".".$basearch.".rpm is missing!\n"
254     }
255   }
256   if ($missing) {
257     system($mockcommand." -r ".$platform." rebuild ".
258                         ' --define "fedorakmod 1" '.
259                         ' --define "kernvers '.$arbitraryversion.'" '.
260                         ' --define "osvers '.$osver.'" '.
261                         ' --define "build_modules 0" '.
262                         ' --define "build_userspace 1" '.
263                         ' --define "build_authlibs 1" '.
264                         $srpm) == 0
265       or die "build failed with : $!\n";
266     foreach my $rpm (@rpms) {
267       system("cp ".$mockresults."/openafs".$rpm."-".$oafsversion."-".
268                    $osver.".".$oafsrelease.".".$basearch.".rpm ".
269                    $resultdir) == 0
270           or die "Copy failed with : $!\n";
271       push @newrpms, $mockresults."/openafs".$rpm."-".$oafsversion."-".
272                      $osver.".".$oafsrelease.".".$basearch.".rpm";
273     }
274   } else {
275     print "All userland RPMs present for $platform. Skipping build\n";
276   }
277
278    print "-------------------------------------------------------------------\n";
279   print "Building kernel modules\n";
280
281  foreach my $arch (keys(%modulelist)) {
282     foreach my $version (keys(%{$modulelist{$arch}})) {
283       my $kversion = $version;
284       $kversion=~s/-/_/g;
285       my @tobuild;
286
287       if ($buildall) {
288         @tobuild = keys(%{$modulelist{$arch}{$version}});
289       } else {
290         foreach my $variant (keys(%{$modulelist{$arch}{$version}})) {
291           my $dvariant=$variant;
292           $dvariant.="-" if ($dvariant);
293           if (!-f $resultdir."/kmod-openafs-".$dvariant.
294                   $oafsversion."-".$oafsrelease.".".$kversion.".".
295                   $arch.".rpm") {
296             my @done = glob ($resultdir."/kmod-openafs-".$dvariant.
297                              $oafsversion."-*.".$kversion.".".$arch.".rpm");
298
299             if ($ignorerelease && $#done>=0) {
300               print "Kernel module for $kversion already exists for an".
301                     "older release. Skipping building it this time.\n";
302             } else {
303               push @tobuild, $variant;
304               print $resultdir."/kmod-openafs-".$dvariant.
305                     $oafsversion."-".$oafsrelease.".".$kversion.".".
306                     $arch.".rpm is missing\n";
307             }
308           }
309         }
310       }
311
312       if ($#tobuild>=0) {
313         my $variants = join(" ", map {$_ or '\\\\\"\\\\\"'} @tobuild);
314         print "Building $arch module for kernel $version with variants $variants\n";
315         system ("setarch $arch $mockcommand -r $platform rebuild ".
316                              " --arch ".$arch.
317                              ' --define "fedorakmod 1" '.
318                              ' --define "osvers '.$osver.'" '.
319                              ' --define "kernvers '.$version.'" '.
320                              ' --define "kvariants '.$variants.'" '.
321                              ' --define "build_modules 1" '.
322                              ' --define "build_userspace 0" '.
323                              $srpm) == 0
324           or die "Build failed with : $!\n";
325         foreach my $variant (@tobuild) {
326           if ($variant) {
327             $variant.="-";
328           }
329           system("cp ".$mockresults."/kmod-openafs-".$variant.$oafsversion."-".$oafsrelease.".".$kversion.".".$arch.".rpm $resultdir") == 0
330             or die "Copy failed with : $!\n";
331           push @newrpms, $mockresults."/kmod-openafs-".$variant.$oafsversion."-".$oafsrelease.".".$kversion.".".$arch.".rpm";
332         }
333       } else {
334          print "All kernel modules already built for $version on $arch\n";
335       }
336     }
337   }
338   print "-------------------------------------------------------------------\n";
339   print "Creating repository data\n";
340   system ("cd $resultdir; createrepo .") == 0
341     or die "Unable to build repository data\n";
342
343   if ($yumcachedir) {
344     print "-------------------------------------------------------------------\n";
345     print "Stashing kernel-devel RPMs\n";
346   
347     my $changed;
348     my $dirh = IO::Dir->new($yumcachedir);
349     if (defined($dirh)) {
350       my $file;
351       while (defined($file = $dirh->read)) {
352         if ( $file=~/^kernel.*devel/ &&
353               -f $yumcachedir.$file && ! -f $rpmstashdir.$file) {
354           print "Stashing $file for later use\n";
355           system("cp ".$yumcachedir.$file." ".$rpmstashdir.$file) == 0
356             or die "Copy failed with : $!\n";
357           $changed++;
358         }
359       }
360     }
361  
362     if ($changed) {
363       print "Updating stash repodata\n";
364       system ("cd $rpmstashdir; createrepo .") == 0
365         or die "Unable to update RPM stash repository data\n";
366     }
367   }
368 }
369
370 print "=====================================================================\n";
371 print "All builds complete\nBuilt:\n";
372 print join("\n",@newrpms);
373