Add ignore and fix bugs
This commit is contained in:
parent
f133e83643
commit
948da5558c
11 changed files with 62 additions and 46 deletions
|
|
@ -18,19 +18,32 @@ class Fregment:
|
||||||
|
|
||||||
class Fregments:
|
class Fregments:
|
||||||
def __init__(self):
|
def __init__(self):
|
||||||
|
self.json_data = {}
|
||||||
self.index = {}
|
self.index = {}
|
||||||
self.indextable = []
|
self.indextable = []
|
||||||
self.timetable = []
|
self.timetable = []
|
||||||
|
self.ignore = ['.ignore']
|
||||||
|
|
||||||
self.config_file = 'config.json'
|
self.ignore_file = '.ignore'
|
||||||
self.index_file = 'fregments_index.json'
|
self.index_file = 'index.json'
|
||||||
|
|
||||||
|
if os.path.isfile(self.index_file):
|
||||||
with open(self.index_file) as json_file:
|
with open(self.index_file) as json_file:
|
||||||
self.json_data = json.load(json_file)
|
self.json_data = json.load(json_file)
|
||||||
|
|
||||||
self.temp_data = {"fregments":[]}
|
self.temp_data = {"fregments":[]}
|
||||||
self.count = len(self.json_data)
|
self.count = len(self.json_data)
|
||||||
|
|
||||||
|
def add_ignore(self, directory):
|
||||||
|
ignore_path = os.path.join(directory, self.ignore_file)
|
||||||
|
if os.path.isfile(ignore_path):
|
||||||
|
ignore = open(ignore_path, 'r')
|
||||||
|
ignore_lines = ignore.readlines()
|
||||||
|
for line in ignore_lines:
|
||||||
|
stripped_line = line.rstrip()
|
||||||
|
self.ignore.append(stripped_line)
|
||||||
|
print(self.ignore)
|
||||||
|
|
||||||
def creation_date(self, path_to_file):
|
def creation_date(self, path_to_file):
|
||||||
"""
|
"""
|
||||||
Try to get the date that a file was created, falling back to when it was
|
Try to get the date that a file was created, falling back to when it was
|
||||||
|
|
@ -55,7 +68,9 @@ class Fregments:
|
||||||
if occupation > -1:
|
if occupation > -1:
|
||||||
origin_path = os.path.join(directory, file)
|
origin_path = os.path.join(directory, file)
|
||||||
date = self.creation_date(origin_path)
|
date = self.creation_date(origin_path)
|
||||||
arr = directory.split("/")
|
arr = directory\
|
||||||
|
.split("/")
|
||||||
|
print(directory)
|
||||||
if arr.__len__() == 2:
|
if arr.__len__() == 2:
|
||||||
artist = arr[1]
|
artist = arr[1]
|
||||||
else:
|
else:
|
||||||
|
|
@ -80,6 +95,7 @@ class Fregments:
|
||||||
|
|
||||||
def preindex(self, directory):
|
def preindex(self, directory):
|
||||||
for root, dirs, files in os.walk(directory):
|
for root, dirs, files in os.walk(directory):
|
||||||
|
self.add_ignore(root)
|
||||||
arr = root.split("/")
|
arr = root.split("/")
|
||||||
# 2뎁스까지만 인덱스 함.
|
# 2뎁스까지만 인덱스 함.
|
||||||
if arr.__len__() < 4:
|
if arr.__len__() < 4:
|
||||||
|
|
@ -87,12 +103,13 @@ class Fregments:
|
||||||
for f in files:
|
for f in files:
|
||||||
if self.is_meta(f):
|
if self.is_meta(f):
|
||||||
pass
|
pass
|
||||||
elif f == "index.html" or f == ".DS_Store":
|
elif f in self.ignore:
|
||||||
pass
|
pass
|
||||||
elif self.has_meta(root, f):
|
elif self.has_meta(root, f):
|
||||||
self.occupancy(root, f)
|
self.occupancy(root, f)
|
||||||
else:
|
else:
|
||||||
self.add_timetable(root, f)
|
self.add_timetable(root, f)
|
||||||
|
if arr.__len__() > 2 and arr[2]:
|
||||||
# dirs index
|
# dirs index
|
||||||
for d in dirs:
|
for d in dirs:
|
||||||
if self.has_meta(root, d):
|
if self.has_meta(root, d):
|
||||||
|
|
|
||||||
|
|
@ -7,15 +7,12 @@ from distribusi.distribusi import build_index
|
||||||
parser = build_argparser()
|
parser = build_argparser()
|
||||||
args = parser.parse_args()
|
args = parser.parse_args()
|
||||||
|
|
||||||
event_path = './events'
|
data_path = args.directory
|
||||||
data_path = './test_data'
|
|
||||||
|
|
||||||
freg = fregments.Fregments()
|
freg = fregments.Fregments()
|
||||||
freg.preindex(event_path)
|
|
||||||
freg.preindex(data_path)
|
freg.preindex(data_path)
|
||||||
freg.postindex()
|
freg.postindex()
|
||||||
|
|
||||||
distribusify(args, event_path, freg)
|
|
||||||
distribusify(args, data_path, freg)
|
distribusify(args, data_path, freg)
|
||||||
|
|
||||||
build_index(args, data_path, freg)
|
build_index(args, data_path, freg)
|
||||||
|
|
@ -2,18 +2,18 @@
|
||||||
{
|
{
|
||||||
"__Fregment__": {
|
"__Fregment__": {
|
||||||
"index": 0,
|
"index": 0,
|
||||||
"update": 1605171358.9636276,
|
"update": 1605581893.2526722,
|
||||||
"directory": "./events",
|
"directory": "./test_data/event_lecture",
|
||||||
"artist": "events",
|
"artist": "event_lecture",
|
||||||
"file": "event_0000"
|
"file": "event_0000"
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"__Fregment__": {
|
"__Fregment__": {
|
||||||
"index": 1,
|
"index": 1,
|
||||||
"update": 1605171365.1618817,
|
"update": 1605584344.6146529,
|
||||||
"directory": "./events",
|
"directory": "./test_data/event_lecture",
|
||||||
"artist": "events",
|
"artist": "event_lecture",
|
||||||
"file": "event_0001"
|
"file": "event_0001"
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
|
|
@ -74,9 +74,9 @@
|
||||||
{
|
{
|
||||||
"__Fregment__": {
|
"__Fregment__": {
|
||||||
"index": 8,
|
"index": 8,
|
||||||
"update": 1605171377.7292128,
|
"update": 1605581893.2483907,
|
||||||
"directory": "./events",
|
"directory": "./test_data/event_workshop",
|
||||||
"artist": "events",
|
"artist": "event_workshop",
|
||||||
"file": "event_0008"
|
"file": "event_0008"
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
|
|
@ -187,32 +187,5 @@
|
||||||
"artist": "fig",
|
"artist": "fig",
|
||||||
"file": "fig002.txt"
|
"file": "fig002.txt"
|
||||||
}
|
}
|
||||||
},
|
|
||||||
{
|
|
||||||
"__Fregment__": {
|
|
||||||
"index": 21,
|
|
||||||
"update": 1605170712.9904313,
|
|
||||||
"directory": "./events/event_0000",
|
|
||||||
"artist": "event_0000",
|
|
||||||
"file": "124469821_121248626457919_479957910997498417_n.jpg"
|
|
||||||
}
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"__Fregment__": {
|
|
||||||
"index": 22,
|
|
||||||
"update": 1605170736.042438,
|
|
||||||
"directory": "./events/event_0000",
|
|
||||||
"artist": "event_0000",
|
|
||||||
"file": "124157237_121248643124584_872058020963845448_n.jpg"
|
|
||||||
}
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"__Fregment__": {
|
|
||||||
"index": 23,
|
|
||||||
"update": 1605170741.7326746,
|
|
||||||
"directory": "./events/event_0000",
|
|
||||||
"artist": "event_0000",
|
|
||||||
"file": "124476076_121248659791249_2342598949363915450_n.jpg"
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
]
|
]
|
||||||
3
test_data/.ignore
Normal file
3
test_data/.ignore
Normal file
|
|
@ -0,0 +1,3 @@
|
||||||
|
.DS_Store
|
||||||
|
index.html
|
||||||
|
404.html
|
||||||
|
Before Width: | Height: | Size: 29 KiB After Width: | Height: | Size: 29 KiB |
|
Before Width: | Height: | Size: 42 KiB After Width: | Height: | Size: 42 KiB |
|
Before Width: | Height: | Size: 48 KiB After Width: | Height: | Size: 48 KiB |
26
test_data/event_lecture/event_0001/event_0001.txt
Normal file
26
test_data/event_lecture/event_0001/event_0001.txt
Normal file
|
|
@ -0,0 +1,26 @@
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
이벤트 0001 에 대한 설명문
|
||||||
|
|
||||||
|
|
||||||
Loading…
Reference in a new issue