发表于 2024年8月30日1年前 背景: 老婆是做数据分析的,每天就是用 pandas 处理各种原始 excel.但是 excel 来自于第三方服务的管理后台(xx 商家版),需要用指定账号登录上去下载. 问题: 数据处理过程已经很自动化了.现在就是这个原始 excel 下载蛮烦人的,每天都要做. 想解决这个问题,打通全流程. 想法: 最开始想的是爬虫,毕竟 python 做起来也方便.我用 postman 尝试了下,各种加密头,还得从登陆流程开始分析,没做过这方面,还是有点难度. 我本职是前端开发,最近再看浏览器插件,感觉这东西能做的也挺多的,似乎也可以实现点击按钮下载文件的功能,而且直接绕过了第三方的接口安全校验,要是能调起本地 python 就更好了... 对此产生了一个想法:是否大部分需要爬虫的地方都可以用对应的浏览器插件来代替呢?
背景:
老婆是做数据分析的,每天就是用 pandas 处理各种原始 excel.但是 excel 来自于第三方服务的管理后台(xx 商家版),需要用指定账号登录上去下载.
问题:
数据处理过程已经很自动化了.现在就是这个原始 excel 下载蛮烦人的,每天都要做. 想解决这个问题,打通全流程.
想法:
最开始想的是爬虫,毕竟 python 做起来也方便.我用 postman 尝试了下,各种加密头,还得从登陆流程开始分析,没做过这方面,还是有点难度.
我本职是前端开发,最近再看浏览器插件,感觉这东西能做的也挺多的,似乎也可以实现点击按钮下载文件的功能,而且直接绕过了第三方的接口安全校验,要是能调起本地 python 就更好了...
对此产生了一个想法:是否大部分需要爬虫的地方都可以用对应的浏览器插件来代替呢?