change all migrations to parallely
This commit is contained in:
parent
9f2dc28088
commit
6875b68f3e
|
@ -19,12 +19,32 @@ async function applyNewChange (doc) {
|
||||||
}
|
}
|
||||||
|
|
||||||
async function main () {
|
async function main () {
|
||||||
const oldTypeDocs = await DriveFile.find({
|
const query = {
|
||||||
'metadata.name': {
|
'metadata.name': {
|
||||||
$exists: true
|
$exists: true
|
||||||
}
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
const count = await DriveFile.count(query)
|
||||||
|
|
||||||
|
const dop = Number.parseInt(process.argv[2]) || 5
|
||||||
|
const idop = ((count - (count % dop)) / dop) + 1
|
||||||
|
|
||||||
|
return zip(
|
||||||
|
1,
|
||||||
|
async (time) => {
|
||||||
|
console.log(`${time} / ${idop}`)
|
||||||
|
const doc = await db.get('drive_files').find(query, {
|
||||||
|
limit: dop, skip: time * dop
|
||||||
|
})
|
||||||
|
return Promise.all(doc.map(applyNewChange))
|
||||||
|
},
|
||||||
|
idop
|
||||||
|
).then(a => {
|
||||||
|
const rv = []
|
||||||
|
a.forEach(e => rv.push(...e))
|
||||||
|
return rv
|
||||||
})
|
})
|
||||||
return await Promise.all(oldTypeDocs.map(applyNewChange))
|
|
||||||
}
|
}
|
||||||
|
|
||||||
main().then(console.dir).catch(console.error)
|
main().then(console.dir).catch(console.error)
|
||||||
|
|
|
@ -1,6 +1,7 @@
|
||||||
// for Node.js interpret
|
// for Node.js interpret
|
||||||
|
|
||||||
const { default: DriveFile } = require('../../built/api/models/drive-file')
|
const { default: DriveFile } = require('../../built/api/models/drive-file')
|
||||||
|
const { default: zip } = require('@prezzemolo/zip')
|
||||||
|
|
||||||
const migrate = async (doc) => {
|
const migrate = async (doc) => {
|
||||||
const result = await DriveFile.update(doc._id, {
|
const result = await DriveFile.update(doc._id, {
|
||||||
|
@ -15,30 +16,32 @@ const migrate = async (doc) => {
|
||||||
}
|
}
|
||||||
|
|
||||||
async function main() {
|
async function main() {
|
||||||
let i = 0;
|
const query = {
|
||||||
|
'metadata.type': {
|
||||||
const count = await DriveFile.count({});
|
$exists: true
|
||||||
|
|
||||||
const iterate = async () => {
|
|
||||||
if (i == count) return true;
|
|
||||||
console.log(`${i} / ${count}`);
|
|
||||||
const doc = (await DriveFile.find({}, { limit: 1, skip: i }))[0]
|
|
||||||
const res = await migrate(doc);
|
|
||||||
if (!res) {
|
|
||||||
return false;
|
|
||||||
} else {
|
|
||||||
i++
|
|
||||||
return await iterate();
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
const res = await iterate();
|
const count = await DriveFile.count(query);
|
||||||
|
|
||||||
if (res) {
|
const dop = Number.parseInt(process.argv[2]) || 5
|
||||||
return 'ok';
|
const idop = ((count - (count % dop)) / dop) + 1
|
||||||
} else {
|
|
||||||
throw 'something happened';
|
return zip(
|
||||||
}
|
1,
|
||||||
|
async (time) => {
|
||||||
|
console.log(`${time} / ${idop}`)
|
||||||
|
const doc = await db.get('drive_files').find(query, {
|
||||||
|
limit: dop, skip: time * dop
|
||||||
|
})
|
||||||
|
return Promise.all(doc.map(migrate))
|
||||||
|
},
|
||||||
|
idop
|
||||||
|
).then(a => {
|
||||||
|
const rv = []
|
||||||
|
a.forEach(e => rv.push(...e))
|
||||||
|
return rv
|
||||||
|
})
|
||||||
}
|
}
|
||||||
|
|
||||||
main().then(console.dir).catch(console.error)
|
main().then(console.dir).catch(console.error)
|
||||||
|
|
Loading…
Reference in a new issue