Bash: Convert to UTF-8

onli blogging

Bash: Convert to UTF-8

Saturday, 19. May 2012

Ein einfaches Problem, das im Grunde schwer ist: Eine beliebige kodierte Datei zu UTF-8 umwandeln. Das Programm iconv kann das Umwandeln, aber die momentane Kodierung nicht automatisch erkennen. Enca klang perfekt, unterstützt aber (zumindest in der Lucid-Version) nur östliche Sprachen. Was funktionierte, war überraschenderweise file -bi:

local tmp=$(mktemp)
local charset="$(file -bi "$inputfile"|awk -F "=" '{print $2}')"
if [ "$charset" != "utf-8" ]; then
    iconv -f "$charset" -t utf8 "$inputfile" -o $tmp
    mv "$tmp" "$inputfile"
fi
Kommentare (6) | Trackbacks (0) | in Code, Linux

Trackbacks

Keine Trackbacks


Kommentare

Stefan am :

*

Danke! Genau das, brauche ich auch immer wieder. Habe ich mir als Funktion in meine bashrc hinterlegt.

onli am :

*

Bitte. Laut Foren funktioniere es nicht in jedem Fall, konnte das aber noch nicht beobachten.

onli am :

*

Das wäre scheinbar nur ein Ersatz für iconv...

Ralf am :

*

Funktioniert auf einem Ubuntu 12 Server perfekt und besser als viele kompliziertere Lösungen - Danke für den Tipp!

onli am :

*

Bitte.
Ich hab mir anlässlich deines Kommentars angeguckt, wie file das macht. Laut manpage ist das auch kein unzuverlässiges Voodoo, sondern file geht genau so vor, wie man es erwartet:

...it is examined to see if it seems to be a text file. ASCII, ISO-8859-x, non-ISO 8-bit extended-ASCII character sets (such as those used on Macintosh and IBM PC systems), UTF-8-encoded Unicode, UTF-16-encoded Unicode, and EBCDIC character sets can be distinguished by the different ranges and sequences of bytes that constitute printable text in each set.


Kommentar schreiben

HTML-Tags werden in ihre Entities umgewandelt.
Die angegebene E-Mail-Adresse wird nicht dargestellt, sondern nur für eventuelle Benachrichtigungen verwendet.
Umschließende Sterne machen ein Wort kursiv (*wort*), per **wort** wird es fett. [http://www.example.com Link] fungiert als URL-Tag.
 
 
Datenschutzerklärung