Ejecutar en este orden para evitar que se configure de manera incorrecta:

El servidor:

sudo apt-get install lighttpd

El intérprete de PHP y la interfaz con el servidor http:

sudo apt-get install php5-common php5-cgi php5

Activación de los scripts php en lighthttpd:

sudo lighty-enable-mod fastcgi-php
sudo service lighttpd force-reload

Damos permisos a www-data en el directorio que tendrá la web:

sudo chown www-data:www-data /var/www/
sudo chmod 775 /var/www/

Y permitimos que el usuario por defecto (pi) pueda escribir en la carpeta agregándolo al grupo www-data:

sudo usermod -a -G www-data pi

¡Y listo!

(Basado en: http://www.diverteka.com/?p=1136)