windows-freelance-20080328

LICENSE MIT

1. return CM_ERROR_NOSUCHFILE when attempting to remove a symlink or
   mount point that does not exist

2. When adding a new symlink or mountpoint, be sure to increment the
   number of local mount points

3. When re-initializing the fake root.cell the unique value is always
   one, not two.  Use cm_FidCmp() to compare fids.  The use of the
   value two prevented the invalidation of existing values because all
   of the directory entries are created with the unique set to one.

pinstall-collateral-damage-20080327

LICENSE IPL10

it's really easy to get into install-sh relative path hell. work around it.

krb5-klog-solaris-krb-20080327

LICENSE IPL10
FIXES 91573

no krb5_mcc_ops on solaris krb5. cope

ptutil-swap-epoch-version-as-needed-20080327

LICENSE IPL10
FIXES 90869

do byteswapping of epoch and version so we print and compare sensibly

volser-higher-thread-limit-20080327

LICENSE IPL10

with tvolser we can increase this and actually *see benefit*, so...

dafs-vshutdown-match-id-to-params-20080327

LICENSE IPL10

we track shutdown thread parms as index rather than device; deal correctly

linux-dont-flush-writes-on-exec-20080326

LICENSE IPL10
FIXES 17509

because of when fds are NULL'd in file_table this should work except when one process has the same file open for read and for write in different FDs; otherwise, the last write fd to close collects the error.

linux-restore-iget-cachemgr-20080326

LICENSE IPL10
FIXES 88000

restore the d_alloc_anon we need

windows-vlserver-include-path-20080323

LICENSE MIT

Fix the INCFILEDIR definition so that the INCFILES actually exist

linux-2625-update-20080322

LICENSE IPL10
FIXES 88000

update 2.6.25 patch to hopefully cover what we need better

windows-aklog-cleanup-20080321

LICENSE MIT

make krb5_context global.  wrap all calls to exit() in a new function,
akexit(), which performs cleanup of the krb5_ccache and the krb5_context.

aix-unix-sockets-fix-200803221

LICENSE IPL10
FIXES 88088

use aix's macro for the size of sockaddr_un

windows-aklog-20080320

LICENSE MIT

Windows Error Reports indicate that sometimes the krb5_cc_default()
call must be failing because krb5_cc_principal is being called with
a NULL ccache value.  Perform error checking and cleanup that was
not previously implemented.

windows-pioctl-disable-service-mgr-check-20080320

LICENSE MIT

Adds HKLM\\Software\\OpenAFS\\Client  DisableIoctlSMCheck

For use in setting tokens when afsd_service.exe is started without
use of the NT Service Manager.  Permits profiling authenticated
operations.

windows-max-cells-20080319

LICENSE MIT

Add CM_CONFIGDEFAULT_CELLS (1024) to cm_config.h and a "Cells" registry
value that can be used to alter the limit at runtime.

No longer tie the number of cells to the number of stat cache objects.
1024 should be more than sufficient.

windows-volume-dotdotFid-20080319

LICENSE MIT

The volume dotdotFid field should have moved into the cm_volstate_t
object as there can be different parents for rw, ro, and bk volumes.

windows-no-more-afsdifs-20080319

LICENSE MIT

do not include a header that no longer exists

windows-remove-umich-afsifs-20080319

LICENSE MIT

The UMich AFS IFS code has never been made ready for production.
An alternative approach is currently being worked on that will be.

windows-parseacl-20080319

LICENSE MIT

Protect against invalid data being passed into ParseAcl and
corrupting the stack.  This affects both fs.exe and the explorer
shell extension.

Windows Error Reporting in recent weeks has begun to report several
instances of stack corruption in the explorer shell extension from
Denmark and Germany.

windows-remove-umich-afsifs-20080318

LICENSE MIT

The UMich AFS IFS code has never been made ready for production.
An alternative approach is currently being worked on that will be.

dafs-kill-xcpu-dump-vlru-stats-20080318

LICENSE BSD

this will dump the current dafs vlru state on kill -XCPU (just as we dump other fileserver state)

that state is
VLRU is a garbage collection facility which automatically offlines
volumes in the background. The purpose of this facility is to
proactively offline infrequently used volumes to improve shutdown and
salvage times. The process of offlining a volume from the "attached"
state to the "pre-attached" state is called soft detachment.

VLRU works in a manner similar to a generational garbage collector.
There are five queues on which volumes can reside: new, intermediate,
old, held, and candidate:

held:

queue for volumes which are administratively barred from VLRU activity

candidate:

queue for volumes which have not been accessed recently, and are thus
candidates for soft detachment

new, intermediate, old:

generational queues for active volumes; state transitions controlled by
inactivity timers.

State transition timeouts are as follows:

candidate->new activity present
new->candidate (1*vlruthresh) minutes since last transition; no activity
new->mid (2*vlruthresh) minutes since last transition; activity
present
mid->old (4*vlruthresh) minutes since last transition; activity
present
old->mid (2*vlruthresh) minutes since last transition; no activity
mid->new (1*vlruthresh) minutes since last transition; no activity

pts-process-input-file-and-exit-20080318

LICENSE IPL10

 The pts program has a command 'source' to read commands from
 a file.  In the interactive "shell" mode, this command works,
 reading and executing commands until the end of the file and
 then returning to the command shell.

 This command is valid for use as a command line option, but
 does not work. It requires a valid filename as an argument,
 but does not process the file, instead just dropping the user
 into the interactive mode.

 When given as a command line option, pts source SHOULD read
 the file, execute the commands and then exit, according to
 the documentation. It does not currently do this and should
 be fixed.

hpux1123-sysname-detection-20080317

LICENSE IPL10
FIXES 89125

add the 11.23 sysname

afs-nostats-xstats-start-cmtime-noop-20080317

LICENSE IPL10
FIXES 90528

add missing noop so we can build with stats disabled

rx-nacks-increment-with-all-newacks-20080317

LICENSE IPL10

don't "lose" newacks, apply all of them to the ack count

linux-nfstrans-readme-20080317

LICENSE IPL10

readme for linux nfs translator and extensions

volser-handle-malloc-failure-20080317

LICENSE IPL10

allocate memory for all rx OUT parameters in stubs to avoid crashes.

solaris11-update-20080317

LICENSE IPL10

update solaris 11. probably we should do configure tests instead for
these things, since they're sort of "moving target"

dafs-readme-20080317

LICENSE IPL10

update README to mention DAFS setup and build options

dafs-accurately-track-inuse-20080317

LICENSE IPL10

keep accurate tabs on whether a volume is "in use" so we don't end up with volume state that's nonsensical.

====================
This delta was composed from multiple commits as part of the CVS->Git migration.
The checkin message with each commit was inconsistent.
The following are the additional commit messages.
====================
LICENSE IPL10

keep accurate tabs on whether a volume is "in use" so we don't end up with volum
e state that's nonsensical.

====================
LICENSE IPL10

keep accurate tabs on whether a volume is "in use" so we don't end up with volum
e state that's nonsensical.

rx-clock-backward-detection-20080317

LICENSE IPL10

if the clock goes backwards, detect it and reset any rx events to run in a timely manner

demand-attach-docs-20080314

LICENSE IPL10

Additional documentation for the demand attach file server, plus a state
diagram.

windows-callback-20080314

LICENSE MIT

Protect against a null volp

windows-max-volumes-20080314

LICENSE MIT

Propagate the max volumes value into cm_memmap

vol-dafs-aix-fixes-20080313

LICENSE IPL10
FIXES 88087

* xlc doesn't support the inline keyword unless C99 is enabled
* xlc won't parse enumerations with trailing commas

lwp-fixprotos-20080313

LICENSE IPL10
FIXES 89857

make everything match, and make *ep take void and not a pointer

rx-mutex-interlocked-macros-20080312

LICENSE IPL10

fix from sxw@inf.ed.ac.uk

windows-remove-scache-volp-20080312

LICENSE MIT

The cm_scache structure has included a reference to the associated cm_volume_t,
volp.  By doing so the reference count on the cm_volume_t objects never hits
zero unless all of the cm_scache_t objects in that volume have been reused.
This prevents cm_volume object recycling.

This commit removes the hard reference and instead adds a function
cm_GetVolumeByFID which obtains a reference to the cm_volume that matches
the cm_scache fid value as needed.

A new "Volumes" registry value is added to permit explicit specification
of the number of volume objects to be allocated.

linux-2625-20080312

LICENSE IPL10

add missing bits

windows-client-config-pt-20080311

LICENSE MIT

typo in pt_BR language resource file

rx-no-interlockedadd-20080311

LICENSE IPL10

InterlockedAdd is only supported on Itanium

man-page-fileserver-update-20080311

LICENSE IPL10

Update the fileserver documentation for demand-attach and add documentation
of other missing options and notes where some options are only applicable
with particular builds.

rx-mutex-interlocked-macros-20080311

LICENSE IPL10

Introduce a new set of macros that can be used to permit either mutex
based protection or Interlocked operation protection increments,
decrements, or additions.

  rx_MutexIncrement(object, mutex)
  rx_MutexAdd(object, addend, mutex)
  rx_MutexDecrement(object, mutex)
  rx_MutexAdd1Increment2(object1, addend, object2, mutex)
  rx_MutexAdd1Decrement2(object1, addend, object2, mutex)

For Windows these are implemented with the Interlocked operations
for other platforms the existing mutex is relied upon.

Only a subset of the rx_stats parameters have been transitioned at the
current time.

lwp-protoize-20080310

LICENSE IPL10

protoize lwp. make it match pthreads' idea of createprocess

windows-lwp-proto-20080311

LICENSE IPL10

Fix breakage caused by recent lwp prototyping.

linux-2625-20080310

LICENSE IPL10

adapted from marc dionne's patch, but works more directly like the darwin port,
further, i'm guessing iget_locked will go away evewntually. maybe this is
too conservative?

windows-client-config-misc-dlg-20080310

LICENSE MIT

The Daemon and Server Threads fields were swapped.

keyring-updated-20080310

LICENSE IPL10

revise keyring patch to avoid detection problems with keyring_type_key

hpux-param-updates-20080310

LICENSE IPL10

based on suggestion from cg2v@andrew.cmu.edu

windows-afs-execute-only-20080309

LICENSE MIT

If we want to enforce the open for read flag in smb_ReadData we must
also check for execute access.  We map execute access to read access
because AFS doesn't have a separate permission for that.

man-page-afsd-afsdb-20080308

LICENSE BSD
FIXES 89288 89289

Reference RFC 1183 in the AFSDB documentation.

pt-util-com-err-20080308

LICENSE IPL10

prototype afs_error_message() to ensure correct behavior on 64-bit
systems with 32-bit int.

windows-installer-rxmaxmtu-setting-20080308

LICENSE MIT

change the RxMaxMtu setting to 0 to restore default
behavior (aka performance).  The Cisco VPN 5.0.01.0600
client no longer requires a reduced mtu size for compatibility
with AFS.

windows-config-20080308

LICENSE MIT

raise the daemon count to 4 now that we have a means of avoiding
contention

raise the tracebufsize to 10000 entries

windows-syscfg-getifinfo-20080308

LICENSE MIT

syscfg_GetIFInfo() obtains the current list of IP addresses.
Its a really expensive operation.  Call the function once
and cache the data until the next IP address change instead
of calling it everytime we receive a WhoAreYou or construct a
new server object.  Adds a new global rw lock, cm_syscfgLock

windows-scache-20080308

LICENSE MIT

do not discard data buffers we wish to keep

windows-performance-deadlock-20080308

LICENSE MIT

correct a deadlock when calling HaveCallback

windows-cm-callback-remove-call-mutex-hold-20080308

LICENSE MIT

Remove all of the code in #ifdef HOLD_CALL_MUTEX as we no longer
use it.

windows-eventlog-20080308

LICENSE MIT

we need set privilege not query privilege

windows-cm-performance-tuning-200803007

LICENSE MIT

This is a first cut at a cache manager statistics monitor
that can be used to determine the necessary cache parameters
to support the working set.

Off by default the performance package can be activated
by setting "daemonPerformanceTuningInterval" in the service
Parameters key.  As with the other daemon interval values
the unit is in seconds.

At service start and each succeeding interval the cache
manager will write statistics to %TEMP%\afsd_performance.txt
showing the relative usage of cm_scache_t, cm_volume_t and
cm_buf_t objects.  The FID statistics keep track of all FIDs
seen by the cache manager during the service session whether
or not they are backed by any live object in the cache.

These statistics are not stored in the cache file.

windows-cm-conn-20080307

LICENSE MIT

Convert cm_conn_t reference counts to use Interlocked operations.
This permits several cm_serverLock holds to be converted to read
locks.

Add string translation for VL errors to cm_Analyze().

Permit RXKAD errors other than RXKADEXPIRED to be treated as
non-fatal.  Instead immediately retry an alternate server if
there is one.  This will permit the client to continue to
access replicated data from an alternate site if one of the
file servers is misconfigured.

windows-cm-server-interlocked-20080307

LICENSE MIT

Convert cm_server_t reference counts to use Interlocked
operations.  This permits almost all of the cm_serverLock
holds to be converted to read locks.

Add missing cm_PutServerNoLock() calls in the multi_Rx
version of cm_CheckServers().  (Thanks to Asanka)

windows-vl-noent-response-20080308

LICENSE MIT

Prior to looking up a volume in the vldb the cm_volume_t
object is constructed.  If the response is VL_NOENT the
cm_volume_t object should be removed and place at the
head of the recycling list so that we do not recycle
something we might actually care about.

Convert more cm_volumeLock holds to read locks now
that we are using Interlocked operations to manipulate
the reference counts.

windows-scache-verification-20080307

LICENSE MIT

Add a hash value verification check for stat cache entries

windows-rxstats-default-20080307

LICENSE MIT

set the defaults for RxEnablePeerStats and RxEnableProcessStats back
to 1 (on) so admins are not surprised.

fakestat-access-for-nautilus-20080307

LICENSE IPL10

in order that nautilus' .directory checks can work without stat()ing every damn
thing, do what we do for the mac, basically.

windows-smb-writedata-crash-20080307

LICENSE MIT
FIXES 88731

If an application opens a file for read only and then attempts to
write to it, we would attempt to release an scp mutex without having
obtained either the scp or the mutex within smb_WriteData

There was no check in smb_ReadData to ensure that the file was opened
for reading.  Add one.

windows-interlocked-volume-refcount-20080306

LICENSE MIT

Switch cm_volume_t objects to InterlockedIncrement/InterlockedDecrement
for reference counting.

Remove protections against null pointers being passed into cm_GetVolume()
Instead, do not call cm_GetVolume() if the pointer is NULL.

Fix a buffer data version comparison that should be bad version number
instead of <= 0.

dafs-restarting-error-change-20080306

LICENSE IPL10

on VSALVAGE the client will correctly resort its list and fail over to
other replicas, but only for RO where there is more than one replica,
obviously; since in dafs we expect to only delay on salvage this is the most
useful course of action

pioctl-settoken-malloc-fail-check-20080206

LICENSE IPL10

avoid malloc failure panic (oops)

windows-afsd-misc-20080306

LICENSE MIT

(1) an attempt to make better use of bandwidth from the BkgDaemon threads
    by preventing the thread from blocking on a vnode that is already
    storing data in another thread

(2) prevents CM_SCACHEFLAG_ASYNCSTORE from being reset on a write failure.

(3) fixes cm_EvaluateSysName to avoid accessing uninitialized memory

(4) prevents a lock leak if the symlink's mountpointstring is too long.
    (This could never actually happen but better to correct the code.)

large-partition-support-20080305

LICENSE IPL10
FIXES 88811

support partitions over 2tb

windows-scache-mx-to-rw-20080302

LICENSE MIT

Replace the cm_scache_t mutex with a rwlock permitting a small amount
of additional parallelization in places where it is safe to use read
locks instead of write locks.  All functions that eventually call
cm_SyncOp must use write locks.

windows-cm_buf-20080302

LICENSE MIT

remove unused constants, data structures and fields

windows-asyncstore-again-20080301

LICENSE MIT

must write the entire asyncstoresize otherwise dirty buffers are left
for writing by buf_IncrSync thread.

windows-buf-more-clean-vnode-speedups-20080301

LICENSE MIT

do not call buf_CleanAsync if you know the buffer isn't dirty

windows-freelance-20080301

LICENSE MIT

when support for multiple valid buffer data versions was added
forget to remove the force dv change from the freelance code.
this broken automatic additions of new mount points.

windows-buf-mx-20080301

LICENSE MIT

further reductions in buffer mutex acquisition churn

windows-eventlog2-20080301

LICENSE MIT

set the registry values on each start.  otherwise, we will never update
the incorrect entries left over from previous installs.

windows-eventlog-20080301

LICENSE MIT

somewhere along the way Microsoft stopped opening Event Message files
explicitly.  Instead they search the PATH environment variable for
the specified file.  I think this is broken but simply registering
"afsd_service.exe" instead of the fully qualified path works.

windows-smb-asyncstore-20080229

LICENSE MIT

fix it

windows-cm-buf-misc-20080229

LICENSE MIT

(1) Add an undocumented store behind mode for use in testing.  Set
    EnableSMBAsyncStore to 2.  When set all smb_WriteData calls are
    background writes, all calls to cm_FSync are skipped and file close
    operations do not block for dirty buffers to be written.  This
    permits all writes to be performed in the buf_IncrSyncer thread.

(2) Do not use I64 in osi_Log() format strings as all parameters are
    converted to size_t which is 32-bit on 32-bit Windows.

(3) Reduce the number of times the cm_buf_t mutex is obtained, dropped,
    obtained, dropped in buf_IncrSyncer

(4) In buf_CleanAsyncLocked, request that a full chunk be written instead
    of just the current buffer.  cm_SetupStoreBIOD will stop at the
    first clean buffer.  This reduces the overall number of RPCs that
    must be performed.

(5) Define CM_BUF_VERSION_BAD and use it instead of -1.

windows-dnlc-20080229

LICENSE MIT

even if dnlc is not going to be used, the data structures must
still be initialized as they are in the cache file.

configure-enable-warnings-20080228

LICENSE IPL10

add a switch to turn on warnings when using gcc

checkauth-unlock-before-return-20080228

LICENSE IPL10

only matters once you have pthreads, but...

windows-libadmin-closesocket-20080228

LICENSE MIT

On Windows close() does not apply to sockets, use closesocket()
instead.

windows-buf-deadlock-20080228

LICENSE MIT

avoid deadlock in buf_FlushCleanPages().
cannot obtain buffer mutex after a successful
Stabilize call because the scp will be be locked
and obtaining buffer mutex after scache mutex
is a lock order violation.

windows-smb-lock-timeouts-20080228

LICENSE MIT

Attempts to open files which are already write-locked by another
client took forever to return a lock not granted error.  This
was because cm_Analyze() would retry the lock request for up to
the RDRtimeout in response to the EAGAIN error.  The problem
was that cm_IntSetLock() was not setting the CM_REQ_NORETRY flag.

While examining this issue, discovered two other things:

(1) the infinite wait logic on lock request processing was broken
(2) the cancel outstanding lock request logic wasn't implemented
(3) cm_Analyze() would put the thread to sleep even when retries
    were not permitted.

Also removed a number of compile time warnings.

arm-lwp-adm-20080227

LICENSE IPL10

don't use ucontext lwp on arm linux

windows-osi-convertRToW-and-logging-optimizations-20080227

LICENSE MIT

Add lock_convertRToW which permits a read-lock to be upgraded to a
write lock.  If the caller is the only reader it permits a fast
transition otherwise it adds the caller to the waiters queue.

In the osi_Log macros, check to see if the log is enabled before making
the function call.  This avoids significant function call overhead.

In the cache manager, make use of the above.

windows-dnlc-20080226

LICENSE MIT

Remove race conditions in the statistics code by switching to
Interlocked functions.

Speed up cm_dnlcEnter() by searching first with a read lock and
then switching to a write lock if not found.

Add HKLM\SOFTWARE\OpenAFS\Client registry values "UseDNLC" and "Debug"DNLC".
I suspect with the B+tree code that the DNLC is unnecessary overhead but
leave it on by default for now.

viced-cleanup-old-addresses-as-they-become-invalid-20080225

LICENSE IPL10

otherwise we can end up with stale addresses when a client uses then leaves an
address never to return

windows-force-anon-vldb-20080225

LICENSE MIT

For organizations with krb5 aware file servers but transarc or old openafs
vldb servers, add force anonymous vldb lookup option

  HKLM\SYSTEM\CurrentControlSet\Services\TransarcAFSDaemon\Parameters
DWORD "ForceAnonVLDB"  (default is 0)

threadquota-enforcement-fixes-20080225

LICENSE IPL10
FIXES 87416

correctly set and unset HWHO_INPROGRESS as we pass through host probing package.

also, do not block on lock checking for HOSTDELETED. instead, return a null host
and VBUSY; restructure code to allow returning a null host with prejudice.

windows-volume-logsavestring-20080225

LICENSE MIT

remember to save the volume name when logging

windows-smb-asyncstoresize-20080225

LICENSE MIT

Further testing on the 115KB AT&T Edge connection shows that 128KB
provides reasonably robust performance with six simultaneous copies of
multi-MB files to AFS.

windows-smb-async-store-20080224

LICENSE MIT

Add two new configuration knobs to control the behavior of smb_WriteData.

HKLM\SOFTWARE\OpenAFS\Client
  DWORD EnableSMBAsyncStore  (default: 1)
  DWORD SMBAsyncStoreSize    (default: 32K)

Instead of tying the async store size to either the chunksize (too large)
or the buffer block size (too small) provide an intermediate value that
can be independently controlled.

In the future it would be desireable for the async store size to be
dynamically determined based upon measurable characteristics of the
network.  In the meantime, 32KB is an acceptable performance compromise
that should work well on 1Gbit networks and low-speed cellular networks.

nulluuid-check-only-valid-input-20080224

LICENSE IPL10

as reported by jhutz@cmu.edu

windows-scache-clean-bufs-20080224

LICENSE MIT

In MergeStatus, only remove clean buffers from the hash table.

windows-buf-data-versions-20080224

LICENSE MIT

An implementation of Asanka's idea.

Avoid the need to update the data version number on each buffer associated
with a scache when MergeStatus is called after a StoreData by maintaining
a range of valid data versions as part of the cm_scache_t object.