从脚本标签获取信息(WebScrape) [英] Get Info From Script Tag (WebScrape)
本文介绍了从脚本标签获取信息(WebScrape)的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
#Python Code
from bs4 import BeautifulSoup
import urllib3
url ='https://www. SomeData .com'
req = urllib3.PoolManager()
res = req.request('GET', url)
soup = BeautifulSoup(res.data, 'html.parser')
res = soup.find_all('script')
print(res)
然后我得到了这样的东西:
Then I Got something like this:
Results below:
[
<script>
AAA.trackData.taxonomy = {
a:"a",
b:"b",
c:"c2,
...} ;
</script>
</script>, <script async="" src="https://someData.com/js/detail.0a6eca28.js"></script>
]
如何将其转换为json格式以处理标签内的井数据.
How can i convert this to a json format to treat well data inside tag.
推荐答案
请检查是否有帮助.
script = soup.find('script', text=re.compile('AAA\.trackData\.taxonomy'))
json_text = re.search(r'^\s*AAA\.trackData\.taxonomy\s*=\s*({.*?})\s*;\s*$',
script.string, flags=re.DOTALL | re.MULTILINE).group(1)
data = json.loads(json_text)
这篇关于从脚本标签获取信息(WebScrape)的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文