Как проверить код ответа сервера от ботов Google/Yandex/Yahoo/Bing

Проверку можно сделать через сайты:

http://www.bertal.ru/
https://checkmy.ru/

Пример:

HTTP/1.1 200 OK
Server: nginx
Date: Sun, 31 Jan 2016 17:40:37 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
X-Powered-By: PHP/5.3.29
Set-Cookie: PHPSESSID=e887e27da2437bb0ad8de1d44739772d; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Link: <http://site.ru/wp-json/>; rel="https://api.w.org/"
Vary: Accept-Encoding,User-Agent