Wie Zeilendoubletten löschen (sed?)?

[ww]

Hallo zusammen,

momentan konfiguriere ich einen Server, der das Forum politikforen.de aufnehmen soll. Ein Problem sind User, die sich via Proxy verbinden, um ihre Identität zu verheimlichen.

Deshalb plane ich, bekannte Proxies auf pf-Ebene zu sperren (ja, ich weiß, daß das ein Kampf gegen Windmühlen und überwindbar ist).

Ich habe bereits eine Liste mit einigen Tausend IP-Adressen angelegt (/etc/proxies) und habe jetzt das Problem, Doubletten sowie die Portnummern hinter der IP-Adresse löschen zu wollen.

Vermutlich wäre sed dazu in der Lage, nicht aber ich

Zur Verdeutlichung:

Aus
123.123.123.123:1111
123.123.123.124:6666
123.123.123.125:7777
123.123.123.123:1111

soll werden
123.123.123.123
123.123.123.124
123.123.123.125

Ich wäre den Experten dankbar, wenn sie mir den dazu erforderlichen Einzeiler (?) posten würden.

Vielen Dank,
ww

 

[chaos]

 cut -d : -f 1 test | sort -u

wenn die zu bearbeitende Datei test heißt.

Cut schneidet die erste Spalte aus, sort -u sortiert und gibt mehrfache Zeilen nur einmal aus

 

[k33n]

die portnummern kannst du in vim so weg bekommen.

:%s/\:.*/

(lösche alles nach dem doppelpunkt.)

edit: ok. bischen langsam....

k33n

 

[ww]

Bestens, vielen Dank. Die Chaoszeile ist wunderbar ;-)