搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 ) _爬虫

html = requests.get(url,headers= headers).text#获取内容etree.HTML(str(html)).xpath(“”//article[@class = 'article']//p//text()')

获取数据之后将其组装成sql语句，以便直接插入到数据库中。

sql = " sql_insert = 'insert into information (`type`, url,author,title,content,postTime,addtime,`unique`) values (%s,%s,%s,%s,%s,%s,%s,%s)'"

通过pymysql获取mysql的连接信息执行sql语句

conn = pymysql.connect(host=“xxxxxxx”, port=3306, user="xxxx", passwd="xxxxxx", db="news", charset="utf8")cursor = conn.cursor()cursor.execute(sql_insert)完整代码请转我的csdn连接！

搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 )

推荐阅读

为什么90后女孩，小时候都无条件相信谎言，现在的孩子却不一样

NBA官网|篮网送雄鹿两连败，卡巴罗特26分字母哥16+6

封面新闻|西藏航空开通新航线“拉萨=兰州=九寨沟”

好吃|羊肉炖白萝卜怎样做最好吃？

农村@近些年，时不时有人到农村高价收购房梁，用来干啥？看完才

『预算』12.86亿元！四川省财政下达今年提前批中央基建投资预算

央视|事实胜于雄辩！知名央视女主持被曝调到地方台，本尊最新近况曝光

你所不了解的关于男女8个趣闻

协议|国元农业保险与中介签署协议上市步伐再进一步

北青金融▲银保监会：消费金融公司主要股东5年内不得转让股权

王莽|中国第一大姓氏，却只出了一个皇帝，还被后人骂了上千年

不卖了？甲骨文与TikTok达成协议

白茶的冲泡方法安吉和福鼎

对话被捅伤女子事件中“跑路”司机：我没有见死不救

欧美的年轻人通常喜欢带啥样的手表

改善暗黄肤色的小妙招改善暗黄皮肤的方法

冬季|琥珀色才是今年冬季的压轴色，高级感提升品味，时髦有气质！

『木木夕看前沿』骚扰电话烦恼终于可以消灭了，4000多位网友共同支招

荐股|跌停惨案！＂杀猪盘＂又来了：散户1分钟接盘1.5亿！网友炸锅：同样套路割韭菜3次…

新华网|新华社杭州11月10日电　题：避坑指南！“剁手”忍不住，怎样“剁”得好？