Nod.Js爬虫数据的工具及具体实现代码是什�

Admin 2022-08-16 群英技术资�

这篇文章给大家介绍了“Nod.Js爬虫数据的工具及具体实现代码是什么”的相关知识,讲解详细,步骤过程清晰,有一定的借鉴学习价值,因此分享给大家做个参考,感兴趣的朋友接下来一起跟随小编看看吧�

node爬虫主要用的是三个插�

request  cheerio mysql

废话不多说直接上代码

const request=require("request")  
const cheerio=require("cheerio")  
const  mysql=require('mysql')  
var connection = mysql.createConnection({  //配置参数,然后添加你的数据库里面的表
  host: 'localhost',
  user: 'root',
  password: 'root',
  database: 'test'
})
connection.connect();  //连接

function show(item){
  request('https://www.1905.com/vod/list/n_1_t_1/o1p'+item+'.html',function(err,res){  
      if(err){  
          console.log('请求出错');  
      }else{  
          var $ = cheerio.load(res.body, {decodeEntities: false});
          $('.search-list>div').each(function(){
              var newsTitle = $(this).find('p').text();
              var news1Title = $(this).find('h3').text();
              var code = $(this).find('i').text(); 
              var newsTime= "";
              var newsUrl= $(this).find('a').attr('href');

              var addSql = "insert into blog(title,time,href,title2,codeNum) values (?,?,?,?,?)"; 
              var addParmas = [newsTitle, newsTime,newsUrl,news1Title,code];
              connection.query(addSql,addParmas,function(err,data){  
                if(err){  
                    console.log("数据库连接错�");  
                }else{
                  item++; 
                  show(item)
                }
              })  
          }); 
      }  
  });
}

show(1)

前提是一定要先分析别人网站的页面结构,然后就是如果你没有esc的话,你打开本地的mysql,再test下建立一张blog的表即可

最后的效果�

就这........

对了,就是如果你没有取消mysql的限制的话,应该是只可以导入1000条数据的,如果你想取消限制的话,可以直接如下图点击取消即�

 


到此这篇关于“Nod.Js爬虫数据的工具及具体实现代码是什么”的文章就介绍到这了,更多相关内容请搜索群英网络以前的文章或继续浏览下面的相关文章,希望大家以后多多支持群英网络!

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:[email protected]进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容�

猜你喜欢

成为群英会员,开启智能安全云计算之旅

立即注册
专业资深工程师驻�
7X24小时快速响�
一站式无忧技术支�
免费备案服务
免费拨打  400-678-4567
免费拨打  400-678-4567 免费拨打 400-678-4567 � 0668-2555555
在线客服
微信公众号
返回顶部
返回顶部 返回顶部