23个赞知乎用户
Python入门当然建议直接学Python3了,毕竟是趋势.而且Python3中对于字符编码的改动会让新手省掉很多很多很多关于字符编解码问题的纠结.另一方面看你项目大小吧.如果自己写代码,Python2和Python3没啥区别.但是如果你是奔着Scrapy这个爬虫框架去的(很多写爬虫...
问答10个回答
10个赞肥肥杨
import requests import re import os import sys import json # B站API详情 https://github.com/Vespa314/bilibili-api/blob/master/api.md # 视频AV号列表 aid_list = [] # 评论用户及其信息 info_list = [] # 获取指定UP的所有视频的AV号 mid
问答7个回答
58个赞笑虎不想当产品的程序员不是好的数据分析师!
估计提问者和我一样,不太喜欢使用现成的爬虫框架,想自行设计一个.如果不嫌弃,可以参考我专栏中的几篇文章(下边的回答中会给出地址),以及Github上自定义的一个极为简洁的爬虫框架:xianhu/PSpider.这里继续回答问题.假设一个爬虫步骤分为:获取,解析,存...
问答3个回答
68个赞刘宝强八爪鱼采集器,全球领先的一键式大数据云采集平台
说起亚马逊采集,我算实战经验非常丰富的老司机了,总体来说,想要完整、大量、精准的、稳定的采集亚马逊数据,其实并不容易,当然,这取决于你选择什么方式,工欲善其事必先利其器,好在我们...
问答14个回答
611个赞iGuo
本爬虫系列入门教程假设读者仅有一点点Python基础或者近乎为零的基础.如果是有Python基础的可以跳过一些对于Python基本知识的补充.本爬虫系列教程会持续完善,有看不懂的地方或者有错误的地方欢迎大家在评论区指出~如果是比较大的问题我会专门写专栏讲~友情链...
文章71个评论
5个赞华天清网络爬虫 www.GooSeeker.com 创始人,数据挖掘和数据获取社区运营
谢邀.曾经写过一系列"xxx评测",突然有一天知乎上的几篇全部被删,所以,这次我就不直接写评测了.只是简单讲一下我在这个领域10多年来的观察和体会.这个领域突然热了,而且突然提升了一个高度,不再局限于"采集器"这个小软件.其实可以说大家又回到了原来的...
问答6个回答
2个赞Aloys寒风地质狗/程序猿
爬虫这东西影响因素比较多,你用Python和Java写爬虫时不可避免的会使用各种库(比如网络库,线程库等),这些库的效率是有很大区别的,另外不同人写的爬虫实现差别也很大,侧重点也不同(不是所有的爬虫都最注重效率),所以不能简单的说Python和Java谁写的爬...
问答5个回答
1400个赞路人甲喜欢用数据讲故事.
上一篇文章已经整理介绍了最基本的Python3.x的学习资料,按照上一篇最后挖下的坑,今天将进行整理一些Python3.x关于爬虫方面的学习资料.如果你还在使用Python2.x你可以仔细阅读一下这篇文章...
文章51个评论
363个赞bsdr机器学习/网络安全
0x01 常见的反爬虫这几天在爬一个网站,网站做了很多反爬虫工作,爬起来有些艰难,花了一些时间才绕过反爬虫.在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下.从功能上来讲,...
文章30个评论
题主分享的内容很有价值,但是我认为第三条的经验可能有误,估计是已经试验了很多,把你的ip封锁了,所以才导致chrome和firefox都失效.不是指纹识别的原因.因为python驱动的chrome或者firefox就是实实在在的浏览器,只是启用了一个专门的profile,所以指纹识别肯定...
49k人关注|5229个问题
2894人关注|1090个问题
3899人关注|899个问题
6049人关注|205个问题
Correct me if I were wrong
游手好闲 东游西逛
谁的父亲死了,请你告诉我如何悲伤.
· 灵魂有位错 · 思想易漂移 ·
搜索帮助 官方微博 © 2019 SOGOU.COM 免责声明 隐私政策