================================================================= NETSTAT V1.2 ================================================================= (C) 1993 Helmut Neumann 0. Nutzungsbedingungen ---------------------- Dieses Paket wird unter der Idee der Free-Ware angeboten, die Nutzung ist frei für alle. Bei Gefallen und weitergehender Nutzung ist eine freiwillige Spende aber trotz allem willkommen. Ich übernehme keinerlei Garantie für Fehlerfreiheit des Programms. Die Anwendung dieses Programms kann die bei Mailboxbetrieb üblichen Fehler bis hin zu Verlust der Daten der Platte bei unglücklichen Abstürzen hervorrufen ;-)).Die im Paket enthaltenen Programme Netstat, Netscan und Netcompress sowie die jeweiligen 68020-Versionen dürfen nur MIT der Copyright-Notiz weitergegeben werden. Für die Verbreitung des Programms darf KEINE Gebühr erhoben werden ! Das Programm darf nicht OHNE diese Anleitung verbreitet werden, dem Archiv dürfen keinerlei weitere Dateien zugefügt werden, insbesondere ist das Zufügen von Dateien mit Boxwerbung oder ähnlichem hiermit ausdrücklich untersagt ! Alles was zur Nutzung der Programme erforderlich ist, ist bereits im Archiv enthalten. Wer sich nicht an diese einfachen und klaren Regeln hält wird mit "Verzeih mir" nicht unter 2 Jahren bestraft :). 1. Einleitung ------------- Dieses Paket bestehend aus den Programmen Netscan, Netcompress und Netstat ermöglicht es, Teile von Nachrichtenpuffern im Z3.8-Format zu archivieren und statistisch auszuwerten. Diese Auswertung kann sowohl auf Bretter (für EM-Systeme) als auch auf Puffer erfolgen. Bei der Anwendung des Pakets sind die geltenden Datenschutzgesetze zu beachten ! Bei jeglicher Veröffentlichung von mit diesem Paket erstellten Listen ist die Copyright-Notiz intakt zu lassen. Vor Veröffentlichungen von Statistiken sind datenschutzrechtlich kritische Teile derselben zu entfernen. Netstat kann selbstverständlich auch Logfiles für beliebige andere Netcall-Formate auswerten, sofern die vorgeschalteten Scanner ein entsprechendes Logfile erzeugen. Das Format ist sehr einfach und kann leicht anhand eines Beispiellogfiles ersehen werden. 2. Netscan ---------- Netscan entnimmt einem Puffer alle relevanten Daten, die zu einer späteren Auswertung zum Dupe-Check oder zur Datenflußanalyse oder zur Statistischen Auswertung mit Netstat notwendig sind. Dabei werden in einer Ausgabedatei, dem Logfile, das Brett, der Absender, die Message-Id, der Typ und die Länge jeder öffentlichen Mail in einer Zeile gerettet. Die Aufrufparameter zu netscan sind : netscan puffer logfile {-b} {header!} {header} ... Hierbei bedeuten : puffer : der zu scannende Puffer logfile : das erzeugte Logfile -b : Netscan soll eine .inhalt.txt Datei untersuchen header : ein Brettheader header! : ein Brettheader mit einem Ausrufungszeichen (not) Die -b Option ist für das Durchsuchen der Dateien .inhalt.txt innerhalb der Mailbox (Euromail) nötig. In diesen Dateien innerhalb der Bretter sind von Binär-Nachrichten nur die Header vorhanden. Mit dieser Option kann man alle bereits einsortierten Nachrichten eines Brettes analysieren. Ein Script um ein Logfile aller Dateien innerhalb eines Brett-Bereiches der Box zu erstellen (z.B. der Binär-Bereich) ist denkbar einfach. Hierzu benötigt man z.B. den Find-Befehl : find .inhalt.txt noroot nototal noarc lformat "netscanb %p/%f logfile -b" >executme Dieser Befehl erzeugt ein Script, das man mit execute executeme ausführen muß. Danach liegt das logfile zur Auswertung vor. 2.1 Das Logfile --------------- Das Logfile wird immer mit open-append geöffnet, das heißt an eine eventuell existierende Datei mit dem gleichen Namen werden die neuen Daten hintenangefügt. Dies ermöglicht den Einsatz zur automatischen Archivierung der wichtigsten Daten einer Mail um z.B. Dupes leicht erkennen zu können oder welche Daten von welcher Box gekommen sind (wenn man zum Beispiel bei mehreren Boxen denselben Netzbereich bestellt hat). 2.2 Die Header -------------- Man kann hier beliebig viele Header von Brettern angeben, die entweder gespeichert werden sollen oder auch nicht. Beispiel : netscan puffer logfile /z- Es werden nur Nachrichten von Brettern beginnend mit /z- archiviert netscan puffer logfile /fid! Es werden alle Nachrichten archiviert außer von Brettern beginnend mit /fid netscan puffer logfile /z-netz/koordination! /z-netz Es werden alle Nachrichten in Brettern beginnend mit z- gespeichert außer Nachrichten beginnend mit /z-netz/koordination Die Groß/Kleinschrift spielt bei den Brett-Headern keine Rolle. Die auszuschließenden Bretter sind immer vor den einzuschließenden zu nennen. Die Routine ist einfach aber für die Praxis ausreichend. Man kann diese Argumente in beliebiger Anzahl angeben. 3. Netcompress -------------- Dieses Programm dient dazu, die Logfiles kleiner zu machen. Dazu sind zuvor NUR NOCH NICHT MIT NETCOMPRESS behandelte Logfiles mit dem Sort-Befehl zu sortieren. Danach kann man mit netcompress logfile logfilecompressed {-r} {-p} eine komprimierte Version erzeugen lassen. Diese komprimierte Version ist weiterhin von Netstat lesbar, es ist sogar mit einer erheblich schnelleren Ausfuehrungszeit zu rechnen. Ein komprimiertes Logfile darf aber nicht ein zweites mal sortiert werden, der Inhalt wäre dadurch unwiederbringlich unbrauchbar. Es empfiehlt sich also von Zeit zu Zeit, wenn das Logfile zu groß geworden ist, dieses zu sortieren und mit Netcompress zu einem Archiv-Logfile weiterzuverarbeiten. Netcompress arbeitet auch mit open-append, man kann also leicht immer auf ein existierendes komprimiertes Archiv aufhäufen. Danach sollte man das unkomprimierte Logfile löschen, damit nicht später Einträge doppelt im compressten logfile auftreten. Mit der Option -r werden automatisch doppelte Zeilen, wie sie beim automtischen loggen z.B. durch Anruffehlversuche auftreten können entfernt. Die Option -p dient dazu, die doppelten Zeilen auf den Schirm auszugeben. Wenn man Bretter doppelt bestellt hat kann man sich so einen Überblick verschaffen, in welchem Umfang Nachrichten NICHT über die beiden Server ankamen. Dazu lenkt man die Ausgabe einfach auf eine Datei um über die man netstat laufen läßt. Wenn beide Server zuverlässig sind müßte sich über den Monat gesehen nahezu ein identisches Bild ergeben. Bei Unstimmigkeiten kann man dann genauer in den .inhalt.txt nachsehen, von welcher Box die Nachricht kam und dann bei der anderen Nachforschungen anstellen. 4. Netstat ---------- Netstat dient zur Auswertung eines mit Netscan erzeugten Logfiles. Netstat hat folgende Aufrufparameter : Netscan logfile {-bn} {-bb} {-bon} {-bob} {-un} {-ub} {-re} {-nogates} {-num} {header!} {header} ... Hierbei bedeuten : logfile : das zu analysierende Logfile num : eine Zahl zwischen 1 und 10000 (z.B. 33) bn : Brettliste nach Nachrichten bb : Brettliste nach Bytes bon : Boxliste nach Nachrichten bob : Boxliste nach Bytes un : Userliste nach Nachrichten ub : Userliste nach Bytes re : restliche Informationen nogates : es wird nicht weiter nach Gate-Systemen ausgewertet header : ein Brettheader header! : ein Brettheader mit einem Ausrufungszeichen (not) Die Argumente header und header! sind hier ebenso zu benutzen wie bei netscan. Hierdurch wird die Herausnahme einzelner Bretter oder Brett-Bereiche oder der Ausschluss einzelner Bretter oder Brettbereiche ermöglicht. Dieses Programm gibt 6 Tabellen mit jeweils 50 oder weniger Einträgen aus. Die Festsetzung auf 50 Einträge ist willkürlich und kann durch den Parameter num geändert werden. num gibt die Zahl der Einträge pro Liste bei der Ausgabe an. Ansonsten zeigt die Ausgabe automatisch was dieses Programm leistet. Die Tabellen sind auch einzeln anwählbar über die oben genannten Parameter, diese Parameter sind auch beliebig kombinierbar, nur die Header und Header! müssen immer als letzte Parameter eingegeben werden. Wird kein Tabellenwahlparameter gewählt, so werden alle Tabellen ausgegeben. Auch bei Verwendung dieses Programms ist unbedingt der Datenschutz zu beachten, insbesondere bei Veröffentlichung sind die unter 1. genannten Bedingungen zu erfüllen. 4.1 Die Zahl der Listeneintrage ------------------------------- Unabhängig von der Zahl der verschiedenen Bretter, Benutzer und Mailboxen, die pro Logilfe nur durch den Hauptspeicher begrenzt sind, ist die maximale Zahl der Ausgabezeilen pro Tabelle auf 10000 beschränkt. Der Default-Wert ist 50. Wenn ein anderer Wert gewünscht wird, so ist er mit -num gleich hinter dem Namen des Logfiles mitanzugeben. Diese Position ist wichtig, sie darf nicht in oder hinter den Headern stehen. 5. History ---------- Netscan ------- V1.2 : - Es wird nun statt des Datums, welches kein eindeutiges Merkmal für eine Nachricht ist und welches auch in Zukunft nicht in die statistische Auswertung einfließen wird, die Message-Id geloggt. Netstat ------- V1.13 : - neue Aufrufparameter für Netstat, jede Tabelle ist einzeln abrufbar - hinter jeder Box wird die Zahl der verschiedenen schreibenden User ausgegeben V1.14 : - es wurden zu viele Netz-User angezeigt, jetzt stimmts - ein bißchen schneller V1.2 : - es wird nun in den Adressen nach Vorkommen von % gesucht und gegebenenfalls die Adresse als eine Gate-Adresse interpretiert. Das führt dazu, daß diese Systeme einzeln mitgezählt werden und am Ende auch in der Form system@gate in der Boxliste einzeln auftauchen. Will man die alte Vorgehensweise beibehalten so ist die Option -nogates zu verwenden - Das Ausgabeformat hat sich leicht verändert. Da nun die Länge des Boxnames nicht mehr auf 8 Zeichen beschränkt werden kann wird zuerst die Zahl der Autoren und dann mit offenem Ende der Systemname ausgegeben. Netcompress ----------- V1.4 : - netcompress kann jetzt doppelte Zeilen entfernen und ausgeben - das Parsing von netcompress wurde verbessert, Fehler in den Logfiles lassen sich so leichter finden 6. Nachwort ----------- Eventuelle Spenden :-) gehen bitte an : Helmut Neumann Stadtsparkasse Aachen Blz. 39050000 Konto 0016012726 Bug-Reports bitte DETALLIERT (notfalls mit den verursachenden Nachrichten/Puffern) an mich senden. Ich bitte auch am Anfang, wo sich wahrscheinlich einige DICKE Fehler zeigen, um sofortige Meldung derselben und um Meldung eigener Bedürfnisse. Ich bin unter folgenden Adressen erreichbar : Z-Netz : HELMUTN@TRON.ZER Internet : helmutn@tron.gun.de oder helmutn@obelix.av.rwth-aachen.de Bis dann, Helmut.