Non ho capito se ti serve solo una corrispondenza qualità desiderata - scelta e impostazioni codec oppure vuoi approfondirne il funzionamento; ad ogni modo, ti allego un po' di roba indicativa dell'una e dell'altra cosa, magari ti è utile.
http://www.megaupload.com/?d=J5TBKRYTIn chapter7.pdf trovi i profili e i livelli di riferimento da utilizzare a seconda delle situazioni per MPEG-2, mentre in H264_Technology_Brief.pdf trovi le stesse informazioni per l'H.264. Ad ogni modo, una codifica a bitrate costante non si fa più, si preferisce settare un bitrate medio (con ovvi limiti superiori ed inferiori) o impostare il livello di quantizzazione.
Sostanzialmente i codec di riferimento sono due: il caro vecchio standard MPEG-2 ed H.264/MPEG 4 AVC; lascia stare gli altri: o sono poco diffusi e prestazionalmente non eccelsi (come Theora), o sono immaturi (come vp8), o sono più nuovi di MPEG-2 ma comunque meno performanti di H.264 (come Xvid, DivX e compagnia cantante), o destinati all'oblio (come WMV).
Usa MPEG-2 se:
* non hai problemi di bitrate e quindi di spazio;
* vuoi una sorgente video veramente molto standard (in modo tale che persino i televisori da 100 euro con porta USB o i decoder sozzosi siano in grado di leggerla);
* vuoi una sorgente video codificata con l'algoritmo standard più semplice in circolazione (questo porta l'indubbio vantaggio di consumare meno risorse computazionali nella codifica, nella decodifica ed in generale durante il video editing), che mette al sicuro da qualsiasi artefatto, problemino o comunque noia durante la codifica.
Per tutto il resto c'è H.264, per la precisione
x264, che è un codec open abbastanza completo che ti permette di effettuare la codifica nel formato appunto H.264. Puoi trovare guide pratiche ai seguenti link:
http://mewiki.project357.com/wiki/X264_Settingshttp://mewiki.project357.com/wiki/X264_Encoding_Suggestionshttps://sites.google.com/site/x264bluray/homePer il transcoding, o usi proprio x264 (per H.264) compilato, oppure ti affidi all'imprescindibile ffmpeg con libx264 (altre guide
http://h264.code-shop.com/trac/wiki/Encoding -
http://rodrigopolo.com/ffmpeg/cheats.html#X264_Presets -
http://www.doyourself.org/ffmpeg/588-ffmpeg-x264-encoding-guide/). Se vuoi un encoder con GUI, vanno bene tutti, basta che supportino un giusto grado di customizzabilità delle opzioni (su Windows uso molto Virtualdub + vari plugin + x264vfw oppure Avidemux).
Per il video editing, oltre ai due succitati che sono semplici ma molto limitati (Virtualdub ma secondo me meglio Avidemux), vanno bene i soliti noti (Pitivi, Adobe Premiere Elements, Pinnacle ecc.).
Spero d'esserti stato d'aiuto, con un po' di ritardo ma il topic non l'avevo proprio visto...

Se vuoi proprio il tomo definitivo, c'è
Video Demystified di Keyth Jack.