.cvs File auswerten

O

overle

Mausschubser
Hallo Leute,

ist evtl. etwas OT. Sorry schonmal dafür im vorraus!

Folgende Geschichte:

Ein Logger ließt Daten einer Motorrensteuerung mit (Sensordaten/Drehzahl... etc. pp.) diese bekommt man später als .csv-File (15 Spalten & >200K Zeilen) zur Auswertung hin geworfen.

Das Problem bei der Sache ist, dass das .csv File nicht in OO Calc importierbar ist, da >65k Zeilen.

Ich suche daher eine Möglichkeit, ca. 200K Zeilen, es können auch mehr werden, auszuwerten.

Herauskommen soll ein Diagramm, in welchem verschiedene Spalten dargestellt werden. Damit man später die Zeilen selektieren wo geändert werden muss und die Werte in ein anderes Programm übertragen kann.

Bitte um Anregungen / Ideen!

Danke schonmal :)

@Mods: Bitte Thementitel anpassen: anstatt .cvs bitte in .csv ändern! Danke!
 
Zuletzt bearbeitet:
mousaka schrieb:
Schon mal etwas davon versucht?

Brauchst es wirklich >200k Messpunkte? Evtl. Frequenz verringern oder aus den Daten z.B. nur jede 5. Zeile nehmen (kann immer noch knapp werden mit 65k) und dann OO Calc verwenden.

mousaka
Zum Vergrößern anklicken....
Leider ist wirklich jeder Messpunkt wichtig! Als Hintergrund: Es geht um die Anpassung des Kennfeldes eines Otto-Motors. Daher ist es wichtig jede Zeile im Log-File auslesen zu können bzw. je höher die Frequenz ist mit welcher geloggt wird desto besser, weil es genauer wird.

Vielen Dank schon mal für die Tipp´s!

AndreasMeyer schrieb:
CSV ist doch ein herrliches Format! *.csv-Dateien kann man mit einem gewöhnlichen Texteditor bearbeiten:
http://de.wikipedia.org/wiki/CSV-Datei
Zum Vergrößern anklicken....

Ich weiß nicht so recht, was ich mit deinem Posting bzw. dem enthaltenen Link anfangen kann! Mir ist bewusst, dass man .csv Files so gut wie überall einlesen kann. Die Frage wo ich jedoch gestellt habe ist in welchem Tool kann ich >200k Zeilen einlesen und ein Diagramm erstellen welches mir visuell die wichtigen Zeilenbereiche aufzeigt.

Wäre klasse, wenn du deine Antwort etwas präzisieren könntest ;)
 
Hallo overle,

mir ist nicht ganz klar, was Du mit deinen Daten genau machen willst.
Herauskommen soll ein Diagramm, in welchem verschiedene Spalten dargestellt werden. Damit man später die Zeilen selektieren wo geändert werden muss und die Werte in ein anderes Programm übertragen kann.
Zum Vergrößern anklicken....
... ein Diagramm erstellen welches mir visuell die wichtigen Zeilenbereiche aufzeigt.
Zum Vergrößern anklicken....
Welche Messwerte sind dir denn "wichtig" bzw. was entscheidet darüber, ob etwas geändert werden muss? An Unis, FH etc. stehen häufig Programme wie Origin zur Messdatenauswertung zur Verfügung. Evtl. lässt sich auch mit Matlab o.ä. sowas machen. Falls Du was für BSD suchst, gäb's noch scigraphica, das muss man sich allerdings selbst zusammenfummeln (dank der "überlegenen" Art und Weise, wie unter UNIX Programme installiert werden ;) ). Matlab-Klone gibts auch für BSD: scilab und octave.

Hoffe es hilft.
 
awk(1)

aber ohne Details, _was_ du denn auswerten willst, wird das muehsam. Willst du vielleicht ein Histgramm zeichen? Das geht trivial mit awk (die Auswertung, zum Zeichnen dann gnuplot)
 
Anbei ein Auszug eines kleinen Logfiles welches sich noch in OO importieren lässt:

N/A N/A Rpm Index of rpm Offset of rpm Throttel % Index for TPS Offset for TPS O2 sensor V Target AF N/A Injector Pulse (mil. Sec) Ignition advance (degrees) N/A N/A

-1951424889 11365 3183 12 240 0 0 252 2010 13.00 87 864 206 0 0
-1951397104 11365 3182 12 239 0 0 252 2010 13.00 87 864 206 0 0
-1951370839 11365 3182 12 239 0 0 252 2010 13.00 87 864 206 0 0
-1951342749 11365 3187 12 243 0 0 252 2005 13.00 87 864 206 0 0
.
.
.

Die Zeilen gehen immer so weiter! Spalten die mit N/A gekennzeichnet sind sind uninteressant für die Auswertung.

Es müssten noch ein paar Formel eingeflochten werden und anschließend die Werte als Diagramm dargestellt werden. Soll heißen man legt mehrere Diagramme über einander und erkennt dann die Zeilen, in welchen Handlungsbedarf besteht.

Reichen die Infos?
 
Okay, jetzt weiß ich schonmal mit was ich die Geschichte visualisiere...

Aber kann ich gnuplot direkt mit den .csv-Files füttern oder in welchem Format kann ich die Geschichten in gnuplot "einlesen" ?
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben