rx-protect-servers-from-half-reachable-clients-20020119

This patch should protect Rx-based servers from half-reachable clients,
which issue requests but don't acknowledge the server's response, thereby
eventually tying up all of the server threads, and denying service to all
other clients.  Such clients can arise in case of uni-directional routing
failures, whereby all packets from the server to client are lost but not
the other way around.

The idea it to ping clients (using Rx ack ping) before attaching them to
a thread, if (a) we're running low on threads, and (b) the client hasn't
responsed to a ping recently.

alpha-cleanup-20020119

make alpha AFS_64BIT_ENV
Avoid warning by not passing data inside a pointer in the test program rw.

Provide compatibility symbols for those w/o preempt hack so its possible to
link test program `rw'.

When comparing to lwp_cpptr->statcheck, cast to int, since that is the type
of lwp_cpptr->statcheck. It may be the case that sizeof(int) !=
sizeof(afs_int32), but then other things will break too.

clean tests with -f

====================
This delta was composed from multiple commits as part of the CVS->Git migration.
The checkin message with each commit was inconsistent.
The following are the additional commit messages.
====================

and unbreak linux

des-fix-make-p-table-on-alpha-20020119

if printing with a long (l) unsigned (X), make sure to pass such a value as
  an argument (p_prime is of int type on alpha).

bozo-misc-cleanup-20020118

- remove bos_util and install it
- ignore it

netbsd-alpha-more-patches-20020118

get closer to server working

largefile-dump-support-20020118

64bit file support for vos dump

netbsd-alpha-start-at-server-support-20020118

not ready yet
adds the concept of a common OS param file

test-suite-update-README-20020117

reflect new test, ordering

testsuite-arrange-for-bad-volume-dump-to-be-in-useful-location-20020117

since we run the script not from the script dir we need to know where it lives, or do this.

top-makefile-build-runtests-20020117

make top makefile/configure build run-tests

test-suite-frontend-mkdir-afs-20020117

mkdir /afs in case

test-suite-create-cachedir-20020117

take care of case where no cache dir exists yet

test-suite-check-for-salvager-correctly-getting-a-bad-uniquifier-20020117

there are cases where a vnode has a uniq which is different than that in the parent. the salvager should clean it up.

testsuite-frontend-restart-bosserver-20020117

so bosserver rereads configs

suite-be-less-verbose-20020117

toss more output in the non-verbose case

ka-util-differently-useless-20020117

drop state here

test-script-substitute-fs-path-20020117

don't assume /usr/local/bin

update-suite-frontend-20020117

fix to use the defined mechanisms to set up bos foo

test-suite-pick-up-replica-of-root-afs-20020116

run in replicated root

rx-dont-challenge-forever-20020116

don't repeat challenges forever. give up after 50 tries

nfs-translator-call-lookup-with-correct-form-of-dir-20020116

based on information from Kris Van Hees

still untested

introduce-ka-util-20020116

the start of a tool to write out a kaserver database. currently dumps but
cannot create a kaserver.DB0

vos-extra-info-but-disabled-20020115

extra info in vos examine, but disabled until we figure out a way
not to irritate things which parse vos examine output

linux-dcache-inconsistency-fix-20020115

minor rework on a patch from Ted Anderson (ota@transarc.com) to
fit OpenAFS

linux-newvcache-clean-up-dentries-20020115

With work and feedback from Omkar Sathe <somkar@in.ibm.com> and
Srikanth Vishwanathan <vsrikanth@in.ibm.com>

rxi-newcall-avoid-race-20020115

avoid race when creating new calls

openafs-tools-cmd-20020115

Tools for configuring a new cell and for building RPMs of said tools

test-suite-updates-20020115

cleanup all target, get missing headers

====================
This delta was composed from multiple commits as part of the CVS->Git migration.
The checkin message with each commit was inconsistent.
The following are the additional commit messages.
====================

put perl modules in properly named subdir

deal-with-linux-large-uids-20020115

based on feedback from Hartmut Reuter <reuter@rzg.mpg.de>

2.2 headers define the right things for this to work

test-suite-cvsignore-20020115

we need one

test-suite-update-20020115

front-end script to tie together the test suite

====================
This delta was composed from multiple commits as part of the CVS->Git migration.
The checkin message with each commit was inconsistent.
The following are the additional commit messages.
====================

remove bogus makefile

====================

stop bos bnodes before deleting

test-suite-pull-tools-directly-in-20020114

move dump tools directly into test suite as that is their intended use

canonical versions of these tools will be distributed otherwise
and may be updated but these provide the minimum functionality

functionality-test-suite-20020114

Based on Arla test suite and AFSTools with some other additions;
intended to set up a standalone cell, perform operations

dumptools-20020113

tools for manipulating afs volume dumps

alpha-linux-build-fixes-20020113

so alpha linux builds work again

bos-key-utility-20020112

modification of asetkey to allow manipulation of key files without
a running bosserver (asetkey requires krb4; this does not)

linux-remove-hazardous-trace-events-20020111

use of osi_Sleep in tracing code makes this dangerous.

solaris-obtain-locks-under-GLOCK-20020101

Fix the two places in Solaris afs_GetOnePage where locks
  are obtained/released without GLOCK.

====================
This delta was composed from multiple commits as part of the CVS->Git migration.
The checkin message with each commit was inconsistent.
The following are the additional commit messages.
====================

Fix the two places in Solaris afs_GetOnePage where locks
  are obtained/released without GLOCK.

(Fix error in application of patch)

README-NT-updates-20020108

info on how to set up debugging environment and other updates

lock-tracing-20020108

patches to allow tracing with fstrace of afs locks

windows-updates-20010108

"1. The default Open AFS is set to normal security (doesn't generate random
user names).
If you are installing over a previous version (before 1.2.2b) it's default
is
high security; therefore, if you want the normal security, you should
uninstall the previous version (1.2.2a or earlier) and select to 'Not
Preserve previous settings'.

To manually change security you need to set the following registry keys:
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\TransarcAFSDaemond\NetworkProvider
     LogonOptions = 1 - Integrated Logon
     LogonOptions = 2 - High Security options, Random User name generation
     LogonOptions = 3 - both

3. Windows 2000/NT, Win9x - First time installations will create necessary
directories when user decides to download CellServDB

4. Windows 2000/NT, Global Drive working.

5. Windows XP - Drive mapping via GUI working.

6. Rename pthread.dll to afspthread.dll"

linux24-add-configure-glue-for-new-inode-fields-20020108

based on report from cg@cdegroot.com

update-readme-devel-for-parallel-make-hints-20020101

suggestions which make parallel make easier to support

vlserver-remove-duplicate-targets-20020101

"duplicates seem to confuse /usr/bin/make on MacOSX"

netbsd-initial-support-20020101

update parameters so it will build

linux-sparc-24-kernel-support-20020101

config for linux 2.4 kernels on sparc

acinclude-update-for-new-darwin-version-strings-20020101

so we can build for new darwin versions

netbsd-server-support-20020101

support for fileserver (namei) on netbsd

====================
This delta was composed from multiple commits as part of the CVS->Git migration.
The checkin message with each commit was inconsistent.
The following are the additional commit messages.
====================

like openbsd, stripping on netbsd strips libraries

linux-osi-sleep-avoid-forgetting-events-20020101

based on suggestion from Ted Anderson
"the changes make more sense
than the code as it currently exists.  the only think i am nervous
about is the dontSleep delete.  while it makes more sense to just
not wakeup sleepers if none exist, i suppose its possible that
some bit of afs code wants acausal (wake before sleep) events.
that does seem quite unlikely.  just looking at the sleep on
solaris, it checks the seq number to get the next event not
a previous event.

i imported the changes and make the fixup in osi_stoplistener().
i dropped some of the silly syntax changes that junked up the
diff -- this makes it a bit easier to see what was changed.
i just added an assert in afs_addevent for quality assurance
purposes."

====================
This delta was composed from multiple commits as part of the CVS->Git migration.
The checkin message with each commit was inconsistent.
The following are the additional commit messages.
====================

fix for osi_StopListener so it does the rigth thing

linux22-also-alloc-avoid-potential-recursion-freeing-memory-and-schedule-when-vmalloc-fails-20011229

linux 2.2 lacks set_current_state. currently in 2.4 it's a definition and not a real function, so this will work

linux-alloc-avoid-potential-recursion-freeing-memory-and-schedule-when-vmalloc-fails-20011225

"The first is to change the gfp_mask passed to kmalloc(). Using GFP_KERNEL,
  it is possible that the VM will call back to the filesystem to free up
  memory to satisfy the kmalloc request. GFP_NOFS will prevent this possible
  recursion. I believe GFP_NOFS first appeared in the 2.4.6 kernel.

  The second change involves the call to schedule() when vmalloc() fails. This
  can also cause a hang. The schedule() call could be replaced with:

  set_current_state(TASK_INTERRUPTIBLE);
  schedule_timeout(HZ);"

rx-avoid-unnecessary-wakeups-20011225

"This fixes a livelock condition introduced in my earlier
  resource starvation patch; apparently I had erred too far
  on the side of "wake up just in case".  The livelock bug
  is exhibited when running 10 fsstress processes at once;
  if many processes are waiting for a new Rx call, they get
  stuck in an uninterruptible kernel loop waking each other
  up."

fix-dcache-deadlock-20011225

"This patch fixes a deadlock in the new dcache locking scheme.
  The underlying bug apparently existed before, but due to the
  absence of locking, it probably resulted in spuriously high
  refcounts rather than deadlock.

  The problem happens when there are zero-length dcache entries
  associated with a file; this is demonstrated by fsx, which
  hangs after running on AFS for a while.  The writeback loop
  never releases dcache entries unless they're stored back to
  the server as part of a sequential byte range."

fix-formatting-in-afs-h-20011225

minor formatting cleanup

dcache-dont-erroneously-fail-to-fill-in-tsmall-20011225

"The particular problem seems to be, when size
  is computed to be zero, tsmall is not filled in with valid data,
  and ProcessFS is called with a zeroed out OutStatus.  This causes
  the file to magically turn into a directory (VDIR), among other
  things"

"The second part of the patch doesn't fix any bug that I've ran into
  thus far, but seemed like a good idea while I was reading the code
  to find the former bug."

doc-heimdal-conversion-howto-20011224

short explanation of how to convert from a kaserver to a heimdal kdc
including setting up iprop

make-storedata-use-unsigned-values-so-quota-cant-get-corrupted-20011203

Currently it's possible to give StoreData negative Pos/Length/FileLength
  arguments and thereby set the volume quota usage to arbitrary values.
  This patch makes these values unsigned, since negative file positions
  and lengths don't make sense anyway.

rx-add-performance-testing-client-20011206

add rxperf with modified license which allows us to distribute it now
pending more useful OpenAFS documentation existing at some point in the
future.

bosserver-dont-enforce-world-readability-on-server-etcdir-20011126

no reason server etcdir needs to be forced world readable; nothing need
default to those cellconfig files except in the localauth case and then
you need to be able to read the KeyFile anyway

windows-afsdb-freelance-notes-20011120

notes from Jeff about AFSDB and Freelance clients

dcache-finegrained-locks-20011121

This patch implements more fine-grained locking for dcache entries.
The main advantage is that multiple chunks of the same file can be
fetched at once.  This means that an incorrectly-guessed prefetch
won't block other fetches, prefetches of multiple chunks can occur
in parallel, and multiple processes sharing the same file can read
from different parts of the file at once.

quote-modloaddir-when-looking-for-kernel-module-20011120

quote variable evaluation

linux-rc-make-ifconfig-speak-english-for-parsing-20011120

sadly the script is fluent only in english and can't even pretend it knows
anything else

bozo-make-logging-more-readable-20011120

add missing newlines

afs-trace-missing-dependancy-20011120

so when afs_trace.et updates the header gets rebuilt

ktc-dont-prototype-lseek-20011120

breaks sparc linux 2.2

windows-updates-20011121

missed updates needed for next release

afs-resetvolumes-zero-serverhost-to-avoid-deadlock-20011120

the equivalent of what's done in InstallUVolumeEntry to avoid a deadlock
but just for this server since it's all we're dealing with

viced-getstatus-clear-lengthhi-since-not-now-using-it-20011119

so we don't end up with bogus value here

startrxafs-fetchdata64-always-show-result-and-EFBIG-at-7fffffff-20011119

show fetch64 errors
also mask high bit for reporting EFBIG

viced-fetchdata64-should-call-common-code-in-64-mode-20011119

both of the stubs shouldn't be using the 32 bit case in common

rx-sys-fix-broken-install-dependancies-20011119

this got broken in one of the sets of changes

viced-add-missing-comma-in-64bit-detailed-stats-case-20011114

and due to no prototypes this slipped right on by

bosserver-log-improve-readability-20011114

include newlines in boslog output

rx-fix-resource-starvation-problem-20011113

This patch fixes a resource starvation condition in Rx.  The
  problem arises, for instance, when more than 4 daemons try to
  prefetch chunks of the same file at once.  The fifth daemon is
  stuck in MAKECALL_WAITING state, never getting a chance to run,
  because the other 4 daemons never yield to the scheduler after
  releasing the call, and just grab the call back again.

afs-cell-avoid-need-for-new-prototype-20011113

reogranize so we don't need to add a prototype

based on report from kolya@mit.edu

hold-afs-xcell-lock-during-setserverprefs-20011113

afs_RemoveCellEntry holds afs_xcell; setserverprefs modified the same
structure but did not which was problematic if something changed out from under
it

64bit-client-mods-build-cleanly-20011113

necessary fixes for aix and solaris, plus fix for linux for when wake_up
doesn't wake the sleeper

pam-include-limits-h-for-NGROUPS-MAX-20011113

pam module needs limits.h to build

nbobtainwritelock-fix-precedence-problem-20011113

NBObtainWriteLock always returned 0 due to precedence problem. Also
add NBObtainSharedLock

rx-compute-ackdatasize-correctly-20011113

This patch clarifies the implicit 3 reserved bytes in rx_AckDataSize,
  and hopefully makes the code more portable for future platforms.

irix-build-cleanup-20011113

make IP35 port select correctly. make pagsh build again

irix-PFLUSHINVAL-should-be-VOP-FLUSHINVAL-PAGES-20011111

Based on suggestions from gwehrman@sgi.com

make-darwin-14-build-with-new-makefile-frag-system-20011110

head now builds on darwin 1.4; may not build in objdir env yet

darwin-14-support-20011110

base support for darwin 1.4

more-64bit-client-fixes-20011110

some afs_offs_t still missing
so obsolete code fixed
and new trace for m.Length change

use-NGROUPS-MAX-instead-of-constant-for-curpag-getgroups-call-20011110

NGROUPS_MAX instead of 30 used so we get all groups from getgroups

windows-updates-including-dont-lose-tokens-20011110

Win2k tokens association problems are fixed. details are in doc/txt/winnotes
in the 1.2.2a updates file

linux-afsd-allow-ext3-journals-without-error-20011110

an ext3 journal in the vice cache (root of the partition) is allowable

we have no useful way to discern ext2 from ext3 without groveling in fstab
so just allow it

rx-dont-ackall-a-connection-were-waiting-for-retransmits-on-20011110

"My theory of what happened is roughly as follows:

    Process tries to read data from AFS (as part of a page fault);
    issues a new Rx call on an Rx connection to the fileserver.

    The server transmits some data back to the client, but some packet
    is lost.

    Something tries to garbage-collect/destroy the connection; since
    there is an active call, it can't do so, but issues an rx_AckAll
    anyway, which acknowledges all packets transmitted by the server
    as having been received.  Server flushes its retransmit queue.

    Client waits forever for the lost packet to arrive, but since the
    server has already flushed the transmit queue, it cannot possibly
    retransmit it.

All this is happening while the client has read-locked its address
space (since the read is part of a page fault).  /proc accesses that
try to poke into that processes address space hang waiting for said
lock, causing the lossage we actually observed."

rx-deal-with-missed-keepalives-by-accurately-tracking-call-number-20011110

(as originally discovered by ted@mit.edu)

"This fix deals with the following lose case:
  Client starts a call that, for some reason, takes a long time on the
  server.  While the client waits for the server to finish, client and
  server usually send each other keep alive packets.  If something
  causes those packets to be delayed or dropped, then the client will
  conclude that the call has failed or finished (usually failed), while
  the server is still *busy* doing the call.

  In this circumstance, the client will initiate another call and the
  server will correctly respond that it is busy.  Unfortunately, if the
  callNumber of a received packet doesn't match the callNumber of the
  outstanding call, then the client never sees that the server says it's
  busy.  Instead the server appears as a black hole to the client.

  This fix ensures that the client sees the busy packets when its
  callNumber is reasonably out of sync with the server."

irix-memcache-dont-call-osi-vm-storeallsegments-20011110

this caused a call to pdflush to happen at the wrong time, which should fix
the zero filled files problem, the osi_assert(cred) problem and the
execsorwriters == 0 warnings to go away

linux-kdump-also-work-with-early-24-kernels-20011108

yup, it had to come from somewhere. now it would compile with early and late 2.4 kernels

config-makefile-include-xcflags64-20011107

this was missed during the conversion

solaris-vfsck-do-a-better-job-of-putting-on-the-ufs-fsck-face-for-the-world-20011106

if you're not using ufs logging it's ok to replace solaris fsck with vfsck,
except sometimes it exits with 40 and that's not a failure to the solaris
scripts.

make it so for us also

butc-allow-comments-in-tapeconfig-20011106

continue to allow extra column for comments as was previously (afs 3.4a) the case

afsdb-avoid-dns-case-issues-for-cell-aliases-20011106

This patch makes sure that in-kernel aliases to non-existant names aren't
  accidentally created due to case mismatch (e.g. "athena" being created as
  a symlink to "athena.MIT.EDU", while "athena.mit.edu" is the real cell
  that already exists).  It also lowercases cell names in AFSDB lookups,
  otherwise the same problem appears in userspace (eg "aklog athena" tries
  to obtain tokens for cell "athena.MIT.EDU").

linux-kdump-kernel-also-has-timer-t-sigh-20011105

not the cleanest way of dealing, either

linux-kdump-timeval-probably-not-needed-20011105

not sure what needs this. if something does we need to figure out what
and only do this for them

bkg-daemon-dont-break-64bit-pointers-and-handle-requests-in-order-20011102

This patch fixes a problem with 64-bit pointers being munged by the
background daemons (by separating sizes and pointers into separate
variables -- this bug was apparently introduced by the 64-bit file
support patch), and makes the background daemons handle requests in
order they came in.  The latter will be mostly just useful for some
prefetching and fine grained dcache-locking patches