En serio, hay lenguajes específicos para realizar compiladores (no me preguntes, solo sé que los hay) y estos no necesitan compilador (o directamente se autocompilan)... Mejor preguntaselo a un informático.

¿Mande? 😆
Sí, hay lenguajes específicos. Yo he programado compiladores utilizando Flex y Bison, es muy fácil encontrar todo tipo de manuales por internet (comprenderlos es más complicado 😉 ), para utilizarlos bajo Unix.

En cuanto a como se compilan tengo un libro donde explicaba la teoría pero no sé donde lo he metido 😛
Creo recordar que había varias técnicas: una ya la ha comentado Ranganok y es la del compilador autocontenido (que se puede compilar a sí mismo), hay compiladores para lenguajes escritos en otro lenguaje (por ejemplo, un compilador escrito en C para compilar Java) , o yendonos a niveles más bajos, compiladores escritos en lenguaje máquina.
Lógicamente, los primeros compiladores estaban escritos en lenguajes de bajo nivel y además eran autocontenidos, pero eran capaces de compilar compiladores de otros lenguajes además de compilarse a sí mismos.
Y a partir de ahí, una escalada, cada vez compiladores de lenguajes escritos en más alto nivel

Espero habertelo aclarado un poco.

Probablemente el primer compilador de C estaba escrito en B, BCPL o ensamblador. Sin embargo no queda nada de eso, una vez operativo se uso para escribir las siguientes versiones, de forma que "el compilador de C se escribe en C". Es interesante la página personal de Dennis Ritchie (uno de los padres de la criatura): http://cm.bell-labs.com/who/dmr/index.html
Personalmente prefiero el C puro y duro, sobre todo porque para programar a bajo nivel (micros sin SO anfitrión, pocos recursos y acceso directo al hardware) es lo mejor. Para programar el PC prefiero el C ó el C++.
También hay que tener en cuenta la portabilidad. Hay veces que no interesa, pero otras es importante. Ahora estoy desarrollando un software para comunicaciones MODBUS y uso C puro y duro (gcc) y GTK2, de forma que es compilable en Win32 y Linux.
En cuanto a por donde empezar yo enpecé por ensamblador, pasé a C y luego C++. Es lo que recomiendo porque así se tiene un conocimiento mas profundo de los tipos de datos, modificadores de almacenamiento, por qué el pre y post-incremento etc, conceptos que están presentes en todos los lenguajes de alto nivel. Es más lento de aprender pero mas seguro.
Por supuesto si lo que quieres es aporrear el teclado, compilar y que salgan cosas puedes usar visual basic etc, pero luego así pasa con los programas, que fallan cuando mas los necesitas...

jaja, pues entonces guardare la pregunta a ver si encuentro algun informatico. Y las librerias que hay para desarollar graficos en esos lenguajes, ¿pertenecen a esos lenguajes que no necesitan ser compilados o algo de eso, o son simples instrucciones en el lenguaje que se esta usando y no serian necesarias sabiendo las instrucciones correctas para desarrollar los graficos?

jaja, pues entonces guardare la pregunta a ver si encuentro algun informatico.
No has leido mi post, ¿no?

la respuesta a la pregunta parece mas compleja de lo que pensaba, y me ha gustado bastante la idea de que los compiladores, o almenos los primeros, se hizieran en codigo maquina (parece complicado, y mas con los procesadores actuales) gracias a todos.