در حدود دو میلیون مقاله علمی هر ساله منتشر می شود. در بین سیل مقاله های منتشر شده، مسلم است که بسیاری از مقالات و پژوهش ها در مورد موضوعات مورد نظرمان را از دست می دهیم. هوش مصنوعی سعی کرده است با استفاده از خزنده وب یا web crawling این کار را برای ما انجام دهد.