好的网站来测试webcrawler
我正在测试一个新的webcrawler，并且正在寻找一些可能会将其绊倒的好网站（重定向，框架，任何东西）。 有没有人知道一些非常复杂的网站，或者可能会将它绊倒的网站？ 谢谢
如果你在Alexa top 1000左右进行测试，你会得到一个很有代表性的网站内容。 你可能没有机会测试一些传统协议（例如框架，等等），但是你会得到一个相当不错的性能概念，尤其是在重要的地方。
链接地址: http://www.djcxy.com/p/47227.html
我正在测试一个新的webcrawler，并且正在寻找一些可能会将其绊倒的好网站（重定向，框架，任何东西）。 有没有人知道一些非常复杂的网站，或者可能会将它绊倒的网站？ 谢谢
如果你在Alexa top 1000左右进行测试，你会得到一个很有代表性的网站内容。 你可能没有机会测试一些传统协议（例如框架，等等），但是你会得到一个相当不错的性能概念，尤其是在重要的地方。
链接地址: http://www.djcxy.com/p/47227.html