fedor/Top-DS-Games
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Solve task

Browse Source
This commit is contained in:
Fedor Lyanguzov
2021-10-13 22:03:12 +03:00
parent ed1eed7d0a
commit 79afe02da4
5 changed files with 165 additions and 12 deletions
Download Patch File Download Diff File Expand all files Collapse all files
README.md
+10 -2
View File
@@ -39,12 +39,20 @@
- *Выходные данные:* таблица со столбцами (название архива, название файла, размер в Мб)
- *Решение:* смотри файл archive_table.py
## Задачи
### Сопоставление игр с жанрами
Необходимо для каждой игры из базового набора найти жанры на ее странице на metacritic. Создать таблицу жанров и соединить отношением многие-ко-многим с таблицей базового набора игр.
- *Входные данные:* html-страницы, по одной на игру из базового набора
- *Выходные данные:* таблица жанров, таблица связей со столбцами (игра, жанр)
- *Решение:* смотри файл scrape_genres.py
## Задачи
### Проверить базовый набор
Необходимо просмотреть жанры, маловстречающиеся и повторяющиеся объединить, построить примерное дерево категорий.
### Сопоставление базового с полным набором игр
Необходимо реализовать быстрый неточный поиск из базового набора в полном. Предложение: построить однословные индексы по базовому и полному набору, при сопоставлении использовать расстояние Левенштейна около 3.
archive_table.py
+4 -4
View File
@@ -3,13 +3,13 @@ import zipfile
import csv
res = []
zips = os.listdir('Nintendo DS')
zips = os.listdir("Nintendo DS")
for z in zips:
with zipfile.ZipFile('Nintendo DS/'+z) as myzip:
with zipfile.ZipFile("Nintendo DS/" + z) as myzip:
info = myzip.infolist()
for i in info:
res.append([z, i.filename, int(i.file_size/(1024**2))])
res.append([z, i.filename, int(i.file_size / (1024 ** 2))])
with open('archive.csv', 'w', newline='') as f:
with open("archive.csv", "w", newline="") as f:
writer = csv.writer(f)
writer.writerows(res)
db.sqlite3
BIN
View File
Binary file not shown.
make_db.py
+14 -6
View File
@@ -28,19 +28,25 @@ def process_pages(db):
)
types = {
"by_metascore": ("""
"by_metascore": (
"""
INSERT INTO top_games(name, link, metascore)
VALUES (?, ?, ?)
ON CONFLICT(link) DO
UPDATE SET metascore=excluded.metascore;
""", int),
"by_userscore": ("""
""",
int,
),
"by_userscore": (
"""
INSERT INTO top_games(name, link, userscore)
VALUES (?, ?, ?)
ON CONFLICT(link) DO
UPDATE SET userscore=excluded.userscore;
""", lambda x: int(float(x)*10)),
}
""",
lambda x: int(float(x) * 10),
),
}
for type, page in db.execute("SELECT type, content FROM pages;"):
for tr in get_all_table_rows(page):
query, score_converter = types[type]
@@ -48,6 +54,7 @@ def process_pages(db):
db.execute(query, (name, link, score))
db.commit()
def get_all_table_rows(page):
"""
(1, 1): /html/body/div[2]/div/div/div[1]/div[2]/div/div[1]/div/div[2]/table/tr[1]
@@ -69,10 +76,11 @@ def get_all_table_rows(page):
for tr in table:
yield tr
def extract_data(tr, score_converter):
"""
name: /html/body/div[2]/div/div/div[1]/div[2]/div/div[1]/div/div[2]/table/tr[1]/td[2]/a/h3
link: /html/body/div[2]/div/div/div[1]/div[2]/div/div[1]/div/div[2]/table/tr[1]/td[2]/a
link: /html/body/div[2]/div/div/div[1]/div[2]/div/div[1]/div/div[2]/table/tr[1]/td[2]/a
score: /html/body/div[2]/div/div/div[1]/div[2]/div/div[1]/div/div[2]/table/tr[1]/td[2]/div[1]/a/div
"""
name = tr.xpath("td[2]/a/h3")[0].text
scrape_genres.py
+137
View File
@@ -0,0 +1,137 @@
"""
### Сопоставление игр с жанрами
Необходимо для каждой игры из базового набора найти жанры на ее странице на metacritic. Создать таблицу жанров и соединить отношением многие-ко-многим с таблицей базового набора игр.
"""
import sqlite3
import requests
import lxml.html
import time
import traceback
def load_page(base_url, link):
return requests.get(
base_url + link,
headers={
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:92.0) Gecko/20100101 Firefox/92.0"
},
).text
def parse_page(page):
"""
metascore:
/html/body/div[1]/div[2]/div[1]/div[1]/div/div/div/div/div/div/div/div/div[1]/div[1]/div[3]/div/div[2]/div[1]/div[1]/div/div/a/div/span
/html/body/div[1]/div[2]/div[1]/div[1]/div/div/div/div/div/div/div/div/div[1]/div[1]/div[3]/div/div/div[2]/div[1]/div[1]/div/div/a/div/span
/html/body/div[1]/div[2]/div[1]/div[1]/div/div/div/div/div/div/div/div/div[1]/div[1]/div[3]/div/div/div[2]/div[1]/div[1]/div/div/a/div/span
userscore:
/html/body/div[1]/div[2]/div[1]/div[1]/div/div/div/div/div/div/div/div/div[1]/div[1]/div[3]/div/div[2]/div[1]/div[2]/div[1]/div/a/div
/html/body/div[1]/div[2]/div[1]/div[1]/div/div/div/div/div/div/div/div/div[1]/div[1]/div[3]/div/div/div[2]/div[1]/div[2]/div[1]/div/a/div
genres:
/html/body/div[1]/div[2]/div[1]/div[1]/div/div/div/div/div/div/div/div/div[1]/div[1]/div[3]/div/div[2]/div[2]/div[2]/ul/li[2]/span[@class="data"]
"""
tree = lxml.html.fromstring(page)
try:
metascore = int(
tree.xpath(
"/html/body/div[1]/div[2]/div[1]/div[1]/div/div/div/div/div/div/div/div/div[1]/div[1]/div[3]//div[2]/div[1]/div[1]/div/div/a/div/span"
)[0].text
)
except ValueError:
metascore = None
except IndexError:
metascore = None
try:
userscore = int(
float(
tree.xpath(
"/html/body/div[1]/div[2]/div[1]/div[1]/div/div/div/div/div/div/div/div/div[1]/div[1]/div[3]//div[2]/div[1]/div[2]/div[1]/div/a/div"
)[0].text
)
* 10
)
except ValueError:
userscore = None
except IndexError:
print("Invalid xpath for userscore")
raise
genres = [
x.text
for x in tree.xpath(
'/html/body/div[1]/div[2]/div[1]/div[1]/div/div/div/div/div/div/div/div/div[1]/div[1]/div[3]//div[2]/div[2]/div[2]/ul/li[2]/span[@class="data"]'
)
]
return metascore, userscore, genres
def update_score(db, game_id, metascore, userscore):
db.execute(
"UPDATE top_games SET metascore=?, userscore=? WHERE ROWID=?;",
(metascore, userscore, game_id),
)
def update_genres(db, genres):
db.executemany("INSERT OR IGNORE INTO genres VALUES (?);", map(lambda x: (x,), genres))
def link_game_to_genres(db, game_id, genres):
query = """
INSERT INTO game_to_genre
SELECT ?, genres.ROWID FROM genres
WHERE genres.name=?;
"""
db.executemany(query, map(lambda x: (game_id, x), set(genres)))
def load_pages(db, base_url):
db.execute("DROP TABLE IF EXISTS games_pages;")
db.execute("CREATE TABLE games_pages (id_game INTEGER UNIQUE, content TEXT);")
for i, link in db.execute("SELECT ROWID, link FROM top_games ORDER BY ROWID;"):
page = load_page(base_url, link)
db.execute("INSERT INTO games_pages VALUES (?, ?);", (i, page))
time.sleep(0.5)
if i % 100 == 0:
print(i)
def main(db_name, base_url):
with sqlite3.connect(db_name) as db:
db.execute("DROP TABLE IF EXISTS genres;")
db.execute("DROP TABLE IF EXISTS game_to_genre;")
db.execute("CREATE TABLE genres (name TEXT UNIQUE);")
db.execute("CREATE TABLE game_to_genre (id_game INTEGER, id_genre INTEGER);")
for i, name, link in db.execute("SELECT ROWID, name, link FROM top_games ORDER BY ROWID;"):
(page,) = db.execute(
"SELECT content FROM games_pages WHERE id_game=?;", (i,)
).fetchone()
metascore, userscore, genres = parse_page(page)
update_score(db, i, metascore, userscore)
update_genres(db, genres)
link_game_to_genres(db, i, genres)
def test_parse_page():
with sqlite3.connect(db_name) as db:
for i, link in db.execute("SELECT ROWID, link FROM top_games WHERE ROWID IN (1,2,3);"):
page = load_page(base_url, link)
metascore, userscore, genres = parse_page(page)
print(metascore, userscore, genres)
breakpoint()
def test_insert_not_unique():
with sqlite3.connect(":memory:") as db:
db.execute("CREATE TABLE genres (name TEXT UNIQUE);")
genres = ["a", "b", "a", "b"]
update_genres(db, genres)
assert db.execute("SELECT ROWID, * FROM genres;").fetchall() == [(1, "a"), (2, "b")]
breakpoint()
if __name__ == "__main__":
db_name = "db.sqlite3"
base_url = "https://www.metacritic.com"
main(db_name, base_url)