提取不规则模式的数据 - Python Xpath [英] Extracting data with irregular pattern - Python Xpath

问题描述

我正在尝试从

该页面有联赛列表，例如 AFC East.每个联盟都有几支球队，例如布法罗比尔队和迈阿密海豚队.每支球队(例如 Buffalo Bills)都有一长串球员.

使用 Xpath，我能够单独"提取所有联赛的列表、所有球队的列表以及所有球员的列表.

team_name = data.xpath("//tr/th/div/text()")player_name = data.xpath("//tr/td/ul/li/a/text()")League_name = data.xpath("//h2//span/a/text()")

但是，我希望完成的事情是这样的:

league_name, team_name, player_name亚足联东部，布法罗比尔队，EJ曼努埃尔亚足联东部，布法罗比尔队，泰罗德泰勒亚足联东部，布法罗比尔队，安东尼迪克森...亚足联东部，迈阿密海豚队，扎克·戴塞特...

这是怎么做到的?提前致谢.

解决方案

我会遍历与团队名称相对应的每个 h3 元素，然后获取下一个 table 兄弟元素 包含玩家信息.联盟名称将是 前面的 h2 元素.完整的工作代码:

导入请求从 lxml.html 导入 fromstringtree = fromstring(requests.get("https://en.wikipedia.org/wiki/List_of_current_AFC_team_rosters").content)对于 tree.xpath 中的 h3("//div[@id='mw-content-text']//h3[span/@class='mw-headline']"):team_name = h3.xpath(".//a/text()")[0]League_name = h3.xpath("preceding-sibling::h2[1]//a/text()")[0]player = h3.xpath("following-sibling::table[1]//ul/li/a/text()")打印(联赛名称、球队名称、球员)

打印:

AFC East Buffalo Bills ['EJ Manuel'，'Tyrod Taylor'，'Anthony Dixon'，'Jerome Felton'，'Mike Gillislee'，'LeSean McCoy'，'Karlos Williams'，'Leonard Hankerson'、马库斯·伊斯利"、侯爵夫人古德温"、珀西·哈文"、德兹·刘易斯"、沃尔特·鲍威尔"、格雷格·萨拉斯"、萨米·沃特金斯"、罗伯特·伍兹"、查尔斯·克莱"、克里斯·格拉格"、尼克·奥利里"、泰森·钱德勒"、瑞安·格罗伊"、塞恩特尔·亨德森"、赛勒斯·库安吉奥"、约翰·米勒"、克雷格·乌尔比克"、埃里克·伍德"、T.J. 巴恩斯、马塞尔·达瑞斯"、拉瓦尔·爱德华兹"、IK Enemkpali"、杰瑞·休斯"、凯尔·威廉姆斯"、马里奥·威廉姆斯"、杰瑞尔·沃西"、贾里乌斯·韦恩"、普雷斯顿·布朗"、兰德尔·约翰逊"、曼尼·劳森"、凯文·雷迪克"、托尼·斯图尔德"、A.J. Tarpley、Max Valles"、Mario Butler"、Ronald Darby"、Stephon Gilmore"、Corey Graham"、Leodis McKelvin"、Jonathan Meeks"、Merrill Noel"、Nickell Robey"、萨米·西姆斯特"、凯姆·托马斯"、亚伦·威廉姆斯"、威廉姆斯公爵"、丹·卡彭特"、乔丹·盖伊"、加里森·桑伯恩"、科尔顿·施密特"、布莱克·安南"、贾勒特·博伊金"、乔纳森·道林"、格雷格·利特尔"、雅各布·麦克斯韦"、罗纳德·帕特里克"、塞德里克·里德"、西里尔·理查森"、菲利普·托马斯"、小詹姆斯·怀尔德"、奈杰尔·布拉德汉姆"、罗恩"布鲁克斯、亚历克斯·卡灵顿"、科迪·格伦"、伦纳德·汉克森"、里奇·隐身"、乔什·约翰逊"、科宾·布莱恩特"、斯特凡·查尔斯"、马奎斯·格雷"、克里斯·霍根"、乔丹"米尔斯"、泰鲍威尔"、巴卡里·兰博"、谢尔·伍德"]亚足联东迈阿密海豚队 [扎克·戴塞特"、瑞安·坦尼希尔"、洛根·托马斯"、杰伊·阿贾伊"、贾万·爱德华兹"、达米安·威廉姆斯"、泰勒·戴维斯"、罗伯特·赫伦"、格雷格·詹宁斯"、贾维斯·兰德里"、德万特·帕克"、肯尼·斯蒂尔斯"、乔丹·卡梅隆"、多米尼克·琼斯"、迪翁·西姆斯"、布兰登·阿尔伯特"、贾米尔·道格拉斯"、贾武安·詹姆斯"、文斯顿画家"', '迈克·庞西', '安东尼·斯蒂恩', '达拉斯·托马斯', '比利·特纳', '迪安德·科尔曼', '昆顿·科普斯', '泰伦斯·费德', '迪翁·乔丹', '厄尔·米切尔', '达蒙特·摩尔''、'乔丹·菲利普斯'、'Ndamukong Suh'、'查尔斯·图奥'、'罗伯特·托马斯'、'卡梅隆·维克'、'朱利叶斯·沃姆斯利'、'乔丹·威廉姆斯'、'内维尔·休伊特'、'迈克·赫尔'、'杰拉尼·詹金斯'', '特雷尔曼宁', '克里斯麦凯恩', '考阿米西', '扎克维吉尔', '沃尔特艾肯斯', '达玛奥特曼', '布伦特格兰姆斯', '瑞沙德琼斯', '托尼利佩特', '鲍比麦凯恩''，'布莱斯麦凯恩'，'泰勒帕特蒙'，'达克斯斯旺森'，'贾马尔泰勒'，'马特达尔'，'约翰丹尼'，'安德鲁弗兰克斯'，'路易斯德尔马斯'，'詹姆斯 - 迈克尔约翰逊'，'丽莎rd Matthews, 'Jacques McClendon', 'Lamar Miller', 'Matt Moore', 'Spencer Paysinger', 'Derrick Shelby', 'Kelvin Sheppard', 'Shelley Smith', 'Olivier Vernon', 'Michael Thomas', 'Brandon Williams"、Shamiel Gary"、Matt Hazel"、Ulrick John"、Jake Stoneburner"]亚足联东部新英格兰爱国者队 ['汤姆·布雷迪'、'吉米·加洛波罗'、'布兰登·博尔登'、'史蒂文·杰克逊'、'詹姆斯·怀特'、'丹尼·阿门多拉'、'朱利安·埃德尔曼'、'布兰登·拉菲尔'、'凯肖恩·马丁'、马修·斯莱特"、斯科特·钱德勒"、罗伯·格隆科夫斯基"、迈克尔·威廉姆斯"、马库斯·坎农"、卡梅隆·弗莱明"、乔什·克莱恩"、布莱恩·斯托克"、塞巴斯蒂安·沃尔默"、拉阿德里安·瓦德尔", 《艾伦·布兰奇》、《阿基姆·希克斯》、《钱德勒·琼斯》、《伊什玛伊利厨房》、《罗布·宁科维奇》、《贾巴尔·谢尔德》、《西尔弗·西利加》、《乔恩·博斯蒂克》、《杰米·柯林斯》、《大流士》弗莱明'、'乔纳森弗里尼'、'Dont'a Hightower'、'Dekoda Watson'、'Malcolm Butler'、'Patrick Chung'、'Nate Ebner'、'Duron Harmon'、'Leonard Johnson'、'Devin McCourty'、洛根·瑞恩"、塔文·威尔逊"、瑞安·艾伦"、斯蒂芬·戈斯特科夫斯基"、勒加雷特·布朗特"、塔瑞尔·布朗"、詹姆斯·德维林"、亚伦·多布森"、多米尼克·伊斯利"、戴恩·弗莱彻"、泰勒·加夫尼"、布兰登·吉布森"、鲁弗斯·约翰逊"、克里斯·琼斯"、迪翁·刘易斯"、埃里克·马丁"、杰罗德·梅奥"、内特·索尔德"、布莱恩·T"yms"、瑞安·温德尔"、蒙提球"、克里斯·巴克"、拉山·梅尔文"、基文·米尔顿"、布洛克·维林"]...AFC West San Diego Chargers ['Kellen Clemens'、'Philip Rivers'、'Donald Brown'、'David Johnson'、'Danny Woodhead'、'Vincent Brown'、'Malcom Floyd'、'Javontee Herndon'、'Dontrelle Inman'、史蒂维·约翰逊"、阿桑特·克利夫兰"、安东尼奥·盖茨"、肖恩·麦格拉思"、约翰·菲利普斯"、乔·巴克斯代尔"、邓拉普国王"、奥兰多·富兰克林"、D.J. Fluker"、Chris Hairston"、Jeff Linkenbach"、Trevor Robinson"、J.D.沃尔顿，肯尼威金斯"，瑞恩卡雷瑟斯"，里卡多马修斯"，肯德尔雷耶斯"，达米恩广场"，杰里迈亚阿陶丘"，唐纳德巴特勒"，卡维尔康纳"，梅尔文英格拉姆"，科达罗·劳"、乔·梅斯"、德克斯特·麦考尔"、曼蒂·特奥"、贾里尔·阿达"、马特·丹尼尔斯"、格雷格·杜克"、阿德里安·菲利普斯"、帕特里克·罗宾逊"、布兰迪安·罗斯"'、'杰森·维瑞特'、'史蒂夫·威廉姆斯'、'迈克·西弗瑞斯'、'迈克·温特'、'基南·艾伦'、'奇奇·阿里古佐'、'布兰登·弗劳斯'、'拉达瑞斯·格林'、'肖恩·利瑟莫尔'、'科里刘盖特、布兰登·奥利弗、坦尼·帕勒波伊、达雷尔·斯塔基、约翰尼·特劳特曼、克里斯·瓦特、埃里克·韦德尔、图雷克·威廉姆斯、亚历克斯·拜尔、以赛亚·伯斯、理查德克劳福德"、本·加德纳"、迈克尔·休伊"、基思·刘易斯"、楚卡·恩杜鲁"、蒂姆·塞米施"、布拉德·索伦森"、克雷格·瓦茨"]

I am trying to extract data from AFC team forsters The page looks like this:

The page has a list of leagues such as AFC East. Each league has several teams such as Buffalo Bills and Miami Dolphins. Each team (e.g., Buffalo Bills) has a long list of players.

Using Xpath, I am able to extract a list of all the leagues, a list of all the teams, and a list of all the players "separately".

team_name = data.xpath("//tr/th/div/text()")
player_name = data.xpath("//tr/td/ul/li/a/text()")
league_name = data.xpath("//h2//span/a/text()")

But, what I am hoping to accomplish is something like this:

league_name, team_name, player_name
AFC East, Buffalo Bills, EJ Manuel
AFC East, Buffalo Bills, Tyrod Taylor
AFC East, Buffalo Bills, Anthony Dixon
...
AFC East, Miami Dolphins, Zac Dysert
...

How can this be done? Thanks in advance.

解决方案

I would iterate over every h3 element that corresponds to a team name and then get the next table sibling element with the players information. The league name would be the preceding h2 element. Complete working code:

import requests
from lxml.html import fromstring


tree = fromstring(requests.get("https://en.wikipedia.org/wiki/List_of_current_AFC_team_rosters").content)

for h3 in tree.xpath("//div[@id='mw-content-text']//h3[span/@class='mw-headline']"):
    team_name = h3.xpath(".//a/text()")[0]
    league_name = h3.xpath("preceding-sibling::h2[1]//a/text()")[0]
    players = h3.xpath("following-sibling::table[1]//ul/li/a/text()")

    print(league_name, team_name, players)

Prints:

AFC East Buffalo Bills ['EJ Manuel', 'Tyrod Taylor', 'Anthony Dixon', 'Jerome Felton', 'Mike Gillislee', 'LeSean McCoy', 'Karlos Williams', 'Leonard Hankerson', 'Marcus Easley', 'Marquise Goodwin', 'Percy Harvin', 'Dez Lewis', 'Walt Powell', 'Greg Salas', 'Sammy Watkins', 'Robert Woods', 'Charles Clay', 'Chris Gragg', "Nick O'Leary", 'Tyson Chandler', 'Ryan Groy', 'Seantrel Henderson', 'Cyrus Kouandjio', 'John Miller', 'Kraig Urbik', 'Eric Wood', 'T. J. Barnes', 'Marcell Dareus', 'Lavar Edwards', 'IK Enemkpali', 'Jerry Hughes', 'Kyle Williams', 'Mario Williams', 'Jerel Worthy', 'Jarius Wynn', 'Preston Brown', 'Randell Johnson', 'Manny Lawson', 'Kevin Reddick', 'Tony Steward', 'A. J. Tarpley', 'Max Valles', 'Mario Butler', 'Ronald Darby', 'Stephon Gilmore', 'Corey Graham', 'Leodis McKelvin', 'Jonathan Meeks', 'Merrill Noel', 'Nickell Robey', 'Sammy Seamster', 'Cam Thomas', 'Aaron Williams', 'Duke Williams', 'Dan Carpenter', 'Jordan Gay', 'Garrison Sanborn', 'Colton Schmidt', 'Blake Annen', 'Jarrett Boykin', 'Jonathan Dowling', 'Greg Little', 'Jacob Maxwell', 'Ronald Patrick', 'Cedric Reed', 'Cyril Richardson', 'Phillip Thomas', 'James Wilder, Jr.', 'Nigel Bradham', 'Ron Brooks', 'Alex Carrington', 'Cordy Glenn', 'Leonard Hankerson', 'Richie Incognito', 'Josh Johnson', 'Corbin Bryant', 'Stefan Charles', 'MarQueis Gray', 'Chris Hogan', 'Jordan Mills', 'Ty Powell', 'Bacarri Rambo', 'Cierre Wood']
AFC East Miami Dolphins ['Zac Dysert', 'Ryan Tannehill', 'Logan Thomas', 'Jay Ajayi', 'Jahwan Edwards', 'Damien Williams', 'Tyler Davis', 'Robert Herron', 'Greg Jennings', 'Jarvis Landry', 'DeVante Parker', 'Kenny Stills', 'Jordan Cameron', 'Dominique Jones', 'Dion Sims', 'Branden Albert', 'Jamil Douglas', "Ja'Wuan James", 'Vinston Painter', 'Mike Pouncey', 'Anthony Steen', 'Dallas Thomas', 'Billy Turner', 'Deandre Coleman', 'Quinton Coples', 'Terrence Fede', 'Dion Jordan', 'Earl Mitchell', 'Damontre Moore', 'Jordan Phillips', 'Ndamukong Suh', 'Charles Tuaau', 'Robert Thomas', 'Cameron Wake', 'Julius Warmsley', 'Jordan Williams', 'Neville Hewitt', 'Mike Hull', 'Jelani Jenkins', 'Terrell Manning', 'Chris McCain', 'Koa Misi', 'Zach Vigil', 'Walt Aikens', 'Damarr Aultman', 'Brent Grimes', 'Reshad Jones', 'Tony Lippett', 'Bobby McCain', 'Brice McCain', 'Tyler Patmon', 'Dax Swanson', 'Jamar Taylor', 'Matt Darr', 'John Denney', 'Andrew Franks', 'Louis Delmas', 'James-Michael Johnson', 'Rishard Matthews', 'Jacques McClendon', 'Lamar Miller', 'Matt Moore', 'Spencer Paysinger', 'Derrick Shelby', 'Kelvin Sheppard', 'Shelley Smith', 'Olivier Vernon', 'Michael Thomas', 'Brandon Williams', 'Shamiel Gary', 'Matt Hazel', 'Ulrick John', 'Jake Stoneburner']
AFC East New England Patriots ['Tom Brady', 'Jimmy Garoppolo', 'Brandon Bolden', 'Steven Jackson', 'James White', 'Danny Amendola', 'Julian Edelman', 'Brandon LaFell', 'Keshawn Martin', 'Matthew Slater', 'Scott Chandler', 'Rob Gronkowski', 'Michael Williams', 'Marcus Cannon', 'Cameron Fleming', 'Josh Kline', 'Bryan Stork', 'Sebastian Vollmer', 'LaAdrian Waddle', 'Alan Branch', 'Akiem Hicks', 'Chandler Jones', "Ishmaa'ily Kitchen", 'Rob Ninkovich', 'Jabaal Sheard', 'Sealver Siliga', 'Jon Bostic', 'Jamie Collins', 'Darius Fleming', 'Jonathan Freeny', "Dont'a Hightower", 'Dekoda Watson', 'Malcolm Butler', 'Patrick Chung', 'Nate Ebner', 'Duron Harmon', 'Leonard Johnson', 'Devin McCourty', 'Logan Ryan', 'Tavon Wilson', 'Ryan Allen', 'Stephen Gostkowski', 'LeGarrette Blount', 'Tarell Brown', 'James Develin', 'Aaron Dobson', 'Dominique Easley', 'Dane Fletcher', 'Tyler Gaffney', 'Brandon Gibson', 'Rufus Johnson', 'Chris Jones', 'Dion Lewis', 'Eric Martin', 'Jerod Mayo', 'Nate Solder', 'Brian Tyms', 'Ryan Wendell', 'Montee Ball', 'Chris Barker', 'Rashaan Melvin', 'Keavon Milton', 'Brock Vereen']
...
AFC West San Diego Chargers ['Kellen Clemens', 'Philip Rivers', 'Donald Brown', 'David Johnson', 'Danny Woodhead', 'Vincent Brown', 'Malcom Floyd', 'Javontee Herndon', 'Dontrelle Inman', 'Stevie Johnson', 'Asante Cleveland', 'Antonio Gates', 'Sean McGrath', 'John Phillips', 'Joe Barksdale', 'King Dunlap', 'Orlando Franklin', 'D. J. Fluker', 'Chris Hairston', 'Jeff Linkenbach', 'Trevor Robinson', 'J. D. Walton', 'Kenny Wiggins', 'Ryan Carrethers', 'Ricardo Mathews', 'Kendall Reyes', 'Damion Square', 'Jeremiah Attaochu', 'Donald Butler', 'Kavell Conner', 'Melvin Ingram', 'Cordarro Law', 'Joe Mays', 'Dexter McCoil', "Manti Te'o", 'Jahleel Addae', 'Matt Daniels', 'Greg Ducre', 'Adrian Phillips', 'Patrick Robinson', 'Brandian Ross', 'Jason Verrett', 'Steve Williams', 'Mike Scifres', 'Mike Windt', 'Keenan Allen', 'Chi Chi Ariguzo', 'Brandon Flowers', 'Ladarius Green', 'Sean Lissemore', 'Corey Liuget', 'Branden Oliver', 'Tenny Palepoi', 'Darrell Stuckey', 'Johnnie Troutman', 'Chris Watt', 'Eric Weddle', 'Tourek Williams', 'Alex Bayer', 'Isaiah Burse', 'Richard Crawford', 'Ben Gardner', 'Michael Huey', 'Keith Lewis', 'Chuka Ndulue', 'Tim Semisch', 'Brad Sorensen', 'Craig Watts']

这篇关于提取不规则模式的数据 - Python Xpath的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！