爬虫数据抓取软件抖音,抖音用户评论数据爬虫采集

　　第一，攀登的目标。我们的目标是在APP的商品部分公开商品信息。我们必须消除商品的产地、价格和销量。

　　二、思路1。提琴手抓住了袋子

　　2.抓取2.mimtproxy(mimtdump)包。

　　3.python提取数据

　　保存到MongoDB数据库

　　三。准备工作(1)、安卓模拟器（或一部手机）配置

　　1.手机需要开启root权限(碎片更改风险)，root后的配置方法与模拟器相同。

　　2.模拟器

　　我这里用的是gtdzx模拟器。你可以从官方网站下载来参观https://www.yeshen.com/

　　安装完成后，打开gtdzx多功能开启器，创建Android5模拟器。(Android7上安装Xposed framework后，99%的系统将无法访问。)

　　进入模拟器(通常默认开启ROOT)，下载安装Xposed framework的JustTrustMe模块。

　　设置，代理设置

　　IP地址是主机IP地址，端口号必须与下面设置的Fiddler端口号一致。

　　(2)、Fiddler。

　　在官网下载就行了，https://www.telerik.com/fiddler

　　安装成功后，如下图所示进行设置：

　　设置好后重启Fiddler即可。

　　(3)、mitmproxy

　　您可以通过命令行上的pip直接安装限制代理。

　　第四，用抓取分析模拟器打开Tick APP搜索商品，可以看到Fidder抓取的包裹。

　　你可以看到我们的提琴手为我们捕捉了很多数据包，但是你如何找到我们想要的数据呢？最蠢的办法就是一个一个看。在这里，我建议您快速检查并确定body列中的数据大小。检查可疑请求，然后单击JSON。看一看。这是我们想要的商品数据。

　　5.要掌握数据，正是因为只需要几个软件包。然后，下一步是过滤和限制接口，抓住上面分析的接口，提取结果中对应的字段。

　　ImportjsonFrommitProxyImportxDefResponse(stream):URL= 3359 a wem。SNS SDK.com/aweme/v2/shop/search/aggg if flow . request . URL . starts with(URL):text=flow . response . text data=JSON . loads(text)items=data uct _ info)print)product _ info)CTX . log . info)str)product _ info)CTX . log . info)proud

　　mitdump -p 8888 -s script.py

　　现在产品的所有信息都输出了，一个信息对应一个JSON格式的数据。

　　第六，提取并保存下一条信息，将信息保存在数据库中。为了您的方便，在这里选择MongoDB数据库。

　　importjsonfrommitmproxyimportctximportpymongoclient=py mongo . mongo client(localhost))db=client[ dou yin ]collear def response(flow):URL= https://a wem。SNS SDK.com/aweme/v2/shop/search/aggregate/shopping/ if flow . row 3360 text=flow . response . text data=JSON . loads(text)items=data . get)for items in items 3360 product CT _ info . get( name 、 show_price : product _ info.get)、show _ price)} extra _ info 333653650 product

　　到目前为止，我们使用了一个非常简单的脚本来存储“Tick”APP的产品信息。

　　七。结语本文内容到此结束。要自动获取数据，只需添加Appium即可。

　　第一次写博客。请代我向xsdqq问好。

　　请赞一下你认为有用的(OWO(((())))0

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。