Casi seguro que tu camara ya guarda el archivo de video en formato avi comprimido, asi que el problema de la perdida de calidad seguramente no es el cambiarlo de formato, sino que al cambiarlo lo haces con un bitrate insuficiente.
Piensa que avi es solo el encapsulado, y un avi, puede ser sin compresion, mpg4, divx, xvid........
Si lo que quieres es simplemente hacer algun corte y recomprimirlo de nuevo, esta virtualdub, que es sencillo y genial. Yo usaba el spanishdub que era virtualdub en castellano e iva genial.(y gratuito), si quieres hacer ediciones mas serias, en windows puedes usar el adobe premiere, y en linux el cinelerra.
