O NuGet é uma extensão do Visual Studio para gerenciar de maneira fácil a instalação de bibliotecas e ferramentas.

Quando você instala um pacote via NuGet, ele gerencia todas as suas referencias e dependências, copiando os arquivos de bibliotecas para sua Solution e atualizando automaticamente seu projeto, caso mude de idéia e queira remover uma referência feita, basta remove-la através do NuGet que todo o processo de instalação será desfeito, sem quebrar o seu código.

Você também pode desenvolver seu próprio pacote e compartilhá-lo através da galeria do NuGet.

Instalando o NuGet

A instalação do NuGet é bastante simples, basta baixar seu pacote de instalação do site oficial do NuGet, executá-lo e seguir o assistente.

Usando o NuGet

Uma vez instalado, a sua utilização é bastante simples, o NuGet vem com duas interfaces uma Gráfica e outra no Console, as duas interfaces são acessíveis através do menu: (Console)Tools/Library Package Manager/Package Manage Console ou (Gráfica) Tools/Library Package Manager/Manage NuGet Packages

Para instalar um pacote na interface gráfica basta pesquisar o pacote desejado e clicar em Install.

Ou se preferir o Package Manage Console, basta usar o comando Install-Package NomeDoPacote

Alguns dos comandos do NuGet no Package Manage Console são, Get-Package (pesquisar um pacote), Uninstall-Package (remover um pacote instalado) e Update-Package (para atualizar um pacote)

Para saber mais:
http://docs.nuget.org/
http://rafaelorion.com/blog/2011/comandos-do-nuget/
http://viniciusquaiato.com/blog/powershell-aliases-para-comandos-do-nuget/