Nod.Js爬虫数据的工具及具体实现代码是什�
Admin 2022-08-16 群英技术资�
node爬虫主要用的是三个插�
request cheerio mysql
废话不多说直接上代码
const request=require("request")
const cheerio=require("cheerio")
const mysql=require('mysql')
var connection = mysql.createConnection({ //配置参数,然后添加你的数据库里面的表
host: 'localhost',
user: 'root',
password: 'root',
database: 'test'
})
connection.connect(); //连接
function show(item){
request('https://www.1905.com/vod/list/n_1_t_1/o1p'+item+'.html',function(err,res){
if(err){
console.log('请求出错');
}else{
var $ = cheerio.load(res.body, {decodeEntities: false});
$('.search-list>div').each(function(){
var newsTitle = $(this).find('p').text();
var news1Title = $(this).find('h3').text();
var code = $(this).find('i').text();
var newsTime= "";
var newsUrl= $(this).find('a').attr('href');
var addSql = "insert into blog(title,time,href,title2,codeNum) values (?,?,?,?,?)";
var addParmas = [newsTitle, newsTime,newsUrl,news1Title,code];
connection.query(addSql,addParmas,function(err,data){
if(err){
console.log("数据库连接错�");
}else{
item++;
show(item)
}
})
});
}
});
}
show(1)
前提是一定要先分析别人网站的页面结构,然后就是如果你没有esc的话,你打开本地的mysql,再test下建立一张blog的表即可
最后的效果�
就这........
对了,就是如果你没有取消mysql的限制的话,应该是只可以导入1000条数据的,如果你想取消限制的话,可以直接如下图点击取消即�
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:[email protected]进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容�
猜你喜欢
在使用element-ui的时候,有一个常用的组件,那就是el-popover,本文就介绍一下elementui的el-popover修改样式不生效的解决方法,感兴趣的可以了解一�
这篇文章主要介绍了vue插值表达式和v-text指令的区别,{{}}这种语法叫做插值表达式,在插值表达式中可以写任何合法的js表达式,下面来看看文章是怎么介绍该内容的�,需要的朋友可以参考一�
这篇文章给大家分享的是用JS实现动态的验证码干扰效果,有很多验证码干扰都做了这个效果,小编觉得挺实用的,因此分享给大家做个参考,文中示例代码介绍的非常详细,感兴趣的朋友接下来一起跟随小编看看吧�
这篇文章主要给大家分享的时JavaScript 对象创建�3种方�,� JavaScript中,对象是一组有属性名和属性值组成的无序集合,对象的创建可以通过对象字面量、new 关键� 和Object.create()函数来创建�
全景图效果非常漂亮给人带来极好的用户体验效果,那么基于前端开发如何实现这种效果呢,下面小编给大家带来了React + Threejs + Swiper 实现全景图效果,感兴趣的朋友一起看看吧
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所�
增值电信经营许可证 : B1.B2-20140078